旧有陶公祠，祀晋人陶侃。明嘉靖四年(1525)，知县吕廷爵改建为惜阴书院。四十三年，长沙府推官翟台重建，有明道堂、聚英楼等，门庑池亭，与对河岳麓书院翼然轮奂。集府属十三县士子大开讲会，传播阳明之学。