淮河在历史上曾是宋金对峙的一条界线，浮山也就成了一个军事制高点了。两岸山峰对峙，如关锁、如咽喉，卡住淮河，水面陡然变窄。从五河县沿淮河东行，可见淮水从南倒灌，关乎人性命，自古把它视为“铁锁”，人们都祈求它能锁住淮河涌来的滔滔洪水。

早在北魏时期，人们就认识到，在淮河荆山硖和浮山峡口，拦淮筑堰，以潼、沱两河为泄流水道，这样就可以一直淹到泗水西畔山东的巨野。当时，南朝梁武帝为了淹没寿阳（今为寿县）魏军，强行在此作堰断淮水，正当合龙之际，由于淮水陡涨，全部工程被激流冲毁。有人说，淮河里有蛟龙，喜欢驾着风雨毁坏堤坝。蛟龙怕铁，向水中投铁器可以制服它。因此，梁武帝又下令搜掠沿淮地区的一切铁器，无论是铁锅、铁锨、犁铧、锄头，只要搜到，一件不留。短短的几天内，就搜掠铁器上千万斤，一下子投入到淮水中。由于水大流急，仍然无法制止水流。接着又派大批农民、士兵充当役夫，到处砍树林、打水桩、做护栏、中间填上石块，上面再加上泥土。这样，为了筑浮山堰，使沿淮广大地区树木几乎被砍光，石料几乎被采尽。盛夏季节，搬运的人们肩膀头磨烂化脓流血，瘟疫流行，暴尸山野；隆冬时节，滴水成冰，饥寒交迫，役夫又大批死亡。从浮山堰开工到拦河大坝竣工，仅仅一年时间，就使20多万人断送了性命。