肥西书院是由台湾首任巡抚、淮军名将刘铭传亲自倡导，得到故里同僚张树声、周盛波的积极支持，然后又有丁寿昌、唐定奎等人的大力配合，大家共同捐资，联合献地、选址，于清同治年间（1871年）建立。

为了提高声望，扩大影响，他们还请了当朝重臣左宗棠题书“肥西书院”牌匾，请同乡名臣李鸿章题书“聚星堂”匾额。所以肥西人多称为“聚星堂书院”。

为了镇妖邪、扶正气、树丰碑，在其后的光绪年间又于东边近旁的山坡之上，用大型条石建造了一座五层实体宝塔。（塔体铭文记载：建于光绪甲午年。但该塔已于1958年拆除。）