光绪辛巳年，地方名士余霁园、徐泽霖、倡议集资，在张渚灵官场（现学校校址）兴建书院，历时七年，建成了书院、门庆、讲堂、文昌阁、魁星阁、三贤祠等，在当时可称是“堂构聿新，规模整肃”的学府。鉴于三国时孙皓封禅国山，张渚古属国山封禅地，于是命名为“国山书院”。由地方名士堵景辰亲自书写“国山书院碑记”。碑现存放于张渚高级中学内。

民国六年，国山书院更名为“国山高等小学”，随着学校的发展，曾先后更名为“宜兴县第八高等小学”、“国山小学”、“宜兴县张渚中学”等；1992年，始用“宜兴市张渚高级中学”之名；1994年，被宜兴市政府命名为市重点中学；1997年，被江苏省教育厅命名为江苏省重点中学，至此，学校已发展成为一所省级山区名校。