学校前身是创办于1956年的安徽省潜山初级师范学校，1961年8月至1968年7月改为潜山中学高中部，文革期间学校停办，1977年7月建立潜山县第二中学，1984年改制为安徽省天柱山高级职业中学；1993年5月，经省教委批准，撤销职业中学建制，恢复普通高中建制与招生，校名定为“安徽省潜山县第二中学”。

学校2004年2月晋升安庆市示范高中，2013年5月晋升为安徽省示范高中。学校“迁址新建”工程列入县政府2011年十件实事之一，2013年8月主体工程通过竣工验收，同年10月实现校园整体搬迁目标。

学校现有在职教职工143人，高级教师70人，一级教师51人，在校学生1688人；近十来教师参加学科优质课评选获国家级二等奖2人、省级一等奖2人、省级二等奖1人，获市级一等奖15人、市级二等奖10人，实现了学科的全覆盖；有市、县教坛新星8人，国家、省、市、县优秀教师和学科带头人28人。