相传隋代时有一千尺大蛇卧于其上而得名，而卧龙祠又因建造于此而得名。据史书记载，卧龙祠是古代当地百姓为祈求风调雨顺、五谷丰登而输财佐力共同建造的祭祀神灵的地方。据专家考证，该祠始建于唐代，距今已有上千年的历史。建成后虽曾几次重新修建，但终因年深日久，现已面目全非，惟4根石柱仍遗留于此。该祠究竟毁于何时何故，尚需进一步考证。

4根石柱均为青石质，成不规则型八棱柱，由东向西平行排列。柱高300厘米，边长40厘米，切角10厘米。柱的顶端均有一10×15厘米的横切卯槽。4根石柱南北间距7米，东西间距9米，由此推测，在这里曾有过一座规模不小的祠堂建筑。东北角石柱上竖刻有《蒙溪山居》五言古体诗一首，共8行，满行19字。东南角石柱上竖刻《崇山卧龙祠献殿石柱铭》一文，9行，满行49字，此文系蒙溪先生中年所作。文中记述岁时献殿木柱已败裂，庙貌损毁，上雨旁风，议作重建。柱以石代木，然石未到，延至延祐三年(1316年)才由其子思敬书丹石上，卫宁刻之。西南角石柱已断裂卧地，柱上有文字痕迹，漫漶不清，殊难辨认。西北角石柱无文字。往北10米处有一巨型碑首，双螭盘绕，另有碑趺一方，碑版已失。