清咸丰7年起，城堡于清咸丰11年为抵抗太平军和捻军进攻而修建，全部用石块垒砌而成，现存部分相对高度约6米，宽1.5米，围总长约2000米，山脊南北走向，墙外侧险陡，寨内稍平，阔处百余米，狭处30米。城墙在山脊上每隔一段，筑有用作碉堡的小石室。南门山墙上尚存有《霍山县正堂张瑜夯修堡事》和《四望堡各户目》两块碑文。历史介绍

四望堡，海拔 1396米，此山一峰高耸，群峦环绕，险峻峭拔。登巅俯瞰，方圆数十里外，尽收眼底，故称为四望山。

据清光绪《霍山县志》记载：“……发捻侵扰，居人石蕴生等环山垒石，又与南北两门外各建碉台一，居人赖以安”，即是记载此寨事。

寨墙是用石块垒砌而成，已有部分坍塌。城墙在山脊上，相对高度约6米，宽1.5米，围总长约2000米，山脊南北走向，墙外侧险陡，寨内稍平，阔处不足百米，狭处30米。寨墙每隔一段，筑有小石室，类碉堡。室内石壁，向外凿有“凸”字形枪炮眼，既可瞭望又可射击。寨设南北两寨门，均为券形顶，间距约三百米。南门保存完好，建有石室，高约7米，内面积约9平方米，分上下两层，上层为城楼，顶用条石扣合，饰有葫芦镇脊。正面墙上开有3个方形瞭望孔，大如人首。两边山墙各开一个门，可通两边寨墙。门楣上镶嵌有“冠秀南山”的石刻，字体粗大肥实，门的左右石壁上各嵌砌有《霍山县正堂张瑜夯修堡事》和《四望堡各户目》的碑文。北门楼已被毁，仅存门洞，“清流淠水”的门楣石刻，倒置在草丛中。距南门东200米处，还建有一座双层炮楼，上层有瞭望窗，下层有十一个枪炮眼；炮楼与石寨有石墙相连，可以往返其上，寨中央山脊东侧较宽处建有一座小石庙，内空仅3.5平方米，门上嵌有“云雾庵” 石刻，两端圆圈内书有“日、月”两字，门两侧墙壁上，有镂空铜钱花纹，大如碗，庙内神龛已部分倒坍，供奉的两尊神像彩绘全部脱落，仅残存腐朽的木身。