元为砀山县，治保安镇（今芒山镇），元宪宗七年（1257年）县治所迁回下邑城（今砀山县城东）。至元二年（1265年）属永城县。

明朝易名兴隆集，后改名为山城集。

清初改为清努镇，但当地群众拒不易名仍称山城集。

1940年4月，为纪念鲁雨亭烈士为国捐躯更名为雨亭集。

抗日战争时期曾一度划属夏永砀县，解放战争时期1947年11月始，先后划属砀南县和砀山县，1952年初重新划回永城县，雨亭集又恢复原名，以山城集称之。

1958年改建芒山人民公社，1983年改称芒山乡，1985年提升为芒山镇。

砀郡初置，下辖睢阳、陈留、雍丘、外黄、单、济阳、栗、虞、蒙、襄邑、酂、谯、大梁、祁、芒、砀共21县，成为秦始皇灭六国前所设置的比较早的27郡之一。

至公元前221年统一中国，分天下为36郡，砀郡仍为其一。

郡县制，以郡守为郡长，县为县令。

砀城在砀郡的东部边缘。

第一，是因为此处战略位置重要，群山环绕，易守难攻，当时通往山区的要道，即为人称“一夫当关，万夫莫开”的黑风口。

第二，从春秋到战国，砀城已成为往来东西的交通要道，为颇有名气的繁华城市，其战略地位已经凸显。

第三，战国连年征战，大多城市受到严重摧残甚至成为废墟，而砀城因坐落在群山环绕之中，未受到大的破坏。

《史记·高祖本纪》载：“秦始皇帝常曰‘东南有天子气’，于是因东游以厌（通‘压’）之。”意思即是秦始皇东巡泰山时路过砀城，指着芒砀山说了一句神秘的谶言：“东南有天子气，日后必有帝王出。”他因此才继续东巡，登上泰山顶，以压住这里的“王气”。

汉高祖刘邦隐于紫气岩，斩白蛇起义。“秦将章邯从陈，别将司马橺将兵北定楚地，屠相，至砀。”刘邦率兵与秦军在芒砀山大战三日，收复砀城。而陈胜起义之后却被车夫庄贾杀害，被埋葬于芒砀山主峰南侧山脚下，该处存有陈胜的墓冢跟郭沫若手书的石碑。

公元前207年，楚怀王“以沛公为砀郡长，封为武安侯，将砀郡兵。”正是以这支部队为基础，刘邦受命西进，轻取关中，与项羽争夺天下，并建立大汉王朝。

据《砀山县志》《太平寰宇记》载，北魏孝昌二年（526年）复置砀郡，治所在下邑（今砀山县东毛李庄），同时又置砀县，治所在鲁城（今芒山镇）。北齐时（555年）废砀郡、砀县，置安阳县（因治所在古代安山之阳，即今芒山镇保安山古代叫安山，故名安阳）。

隋开皇十八年（598年），改安阳为砀山。隋大业二年（606年），改属宋州。隋大业六年（610年）割彭城、谯阳二郡之地置永城县，芒砀山以北为砀山县辖区。

在鲁城、安阳城之前，芒山镇曾称香城。《水经注》云：“获水又东，谷水注之，上承砀陂，陂中有香城，城在四水之中。承诸陂散流，为零水、滚水、清水也，积而成潭，谓之砀水。”砀坡，在砀山西北。说明至北魏郦道元注《水经》时，砀城已破败不存，芒砀山有砀陂池泽。

西汉刘向《列仙传》记载涓子、主柱在芒砀山成仙：“山泽深固，多怀神智。有仙人涓子、主柱隐芒砀山得道。”《水经注》载，名士琴高在芒砀山泽乘鲤鱼成仙：“赵人有琴高者，以善鼓琴为康王舍人，行彭涓之术，浮游砀郡间二百余年，后入砀水中取龙子，乘赤鲤鱼出，人坐祠中，砀中有可万人观之，留月余，复入水也。”说明砀城一带环境之清幽，如若世外桃源。

砀县古城址位于芒山镇山城集，秦时砀郡治所城墙尚存。

现存夯筑北墙，西起书店院后40米处，东至芒山中学东北侧，长890米，宽约300米，最高处2米，东、南、西城墙地上无存。城内有制陶，冶铁遗址。

据《商丘地区地名荟萃》《永城县志》载，砀城故城遗址呈不规则四边形，周长3450米。城内有校兵场遗址，地下1.5米处曾发掘出制陶、冶铁、宰杀遗址多处，及房基、秦砖汉瓦、铜器、货币等，对研究古代历史有重要价值。