民国周易藻《萧山湘湖志》曰：“城山寺：在城山岭，一名越王城寺，今废；明代建石蹬五百级，自山下直达寺门；清乾隆、嘉庆年间，寺极兴盛；道光初汤元裕修；咸丰辛酉寺毁；今仅存破屋数间。”

城山寺毁于清朝咸丰年间太平天国太平军之手。尽管寺已毁，但寺联却留了下来。

清朝王端履重论，文斋笔录了城山寺联：“沼吴业废，锦衣化满殿鹧鸪，壁垒销沈，始知卓锡拈花法缘无量；选佛场开，香钵贮两湖烟月，人天欢喜，翻觉卧薪尝胆烦恼何为。”

前人留有较多诗作：

清朝与友人一同登越王城山的更多，有来式钰的《秋季同田六登城山寺》、毛奇龄的《重阳日同姚监郡张广文徐征君城山晚眺》、王先吉的《再同吕嵋瞻张兰岑泛湘湖登越王城高巅》、何增筠的《同人泛舟湘湖，由城山寺至湘云寺小集醉归得四首》、陶轩的《秋日同汤十一起渭，赵六馨山，宗兄木斋，家叔睛皋泛舟湘湖，登越王城》、张远的《登城山寺》诗等。