宝元二年至康定元年（1039～1040），范仲淹知越州，于州治创建稽山书院，聘著名学者新昌石待旦主持书院，四方受业者甚众。乾道六年(1170)，朱熹司提举浙东常平茶盐事，于此讲学敷政，以倡多士。岁久湮废。明正德间(1506～1521)，山阴知县张焕移建故址之西。嘉靖三年(1524)知府南大吉及山阴县令吴瀛拓书院，增建“明德堂”、“尊经阁”。王阳明于此阐述“致良知”之学，并撰《稽山书院尊经阁记》。试八邑诸生，选其优者升于书院，月给廪饩。后为瑞泉精舍。万历七年(1579)，奉例毁书院，遂为吴氏所佃，尚书吴兑持之不遽毁。十年，知府萧良干修复，易名“朱文公祠”，又于瑞泉精舍旧址建“仕学所”。清康熙十年(1671)，里人虞敬道、柴世盛重修。