东晋以征北、镇北将军，青兖二州刺史或徐州刺史镇淮阴，淮阴遂为重镇。永和八年（352年），荀羡以北中郎将徐州刺史镇守淮阴。他认为淮阴旧镇“地形都要，水陆交通，易以观衅，沃野有开殖之利，方舟运漕”，却“无地屯兵”，因而在秦汉故城（即甘罗城）之南一里许，营造新的城池（后来的淮阴故城，今马头镇附近），自此淮阴为南朝国防要地。

南朝刘宋泰始三年（467年）淮河之北被北朝占领，刘宋于淮阴侨置兖州镇，泰始七年（471年），改称北兖州。萧齐建元四年（482年），兖州镇移去。永明七年（489年）复立东平郡于淮阴，领寿张、淮安二县。

梁改为淮州，郡治淮阴故城，县改称怀恩。太清三年（549年），侯景以萧弄璋为北兖州刺史，州民发兵拒之，于是淮阴复称北兖州。侯景派直阁将军羊海帮助萧弄璋，羊海带着队伍投降东魏。东魏踞淮阴，仍称淮州郡怀恩县。陈太建五年（573年），吴明彻伐齐，十一月，淮阴城降陈。九年（577年初），没于后周，恢复县名为寿张。再立东平郡，和萧齐时一样。

隋开皇三年（583年），置楚州，治淮阴(今淮阴区马头镇)。十二年，移楚州治山阳县，州旋废。隋大业（605～618年）初，去淮阴县入山阳县，不久复置。

唐武德初年，恢复淮阴县建置。武德七年（624年），淮阴第二次并入山阳县；乾封二年（667年），淮阴又从山阳划出恢复县建置。

五代至北宋时，仍称淮阴县。

南宋建炎元年（1127年），划出淮阴县西境置吴城县，三年后又复归淮阴县。绍兴五年（1135年），废县为镇；后一年复为县。金皇统元年（1141年），宋奉表割地与金和，约以淮水中流为界，于是淮阴县淮河以北的地方（吴城镇、金城镇）都割给了金人。金以吴城镇（沿淮北岸一线）隶临淮，金城镇（淮河北岸北部地区）隶涟水。南宋也在嘉定七年（1214年），将淮阴县治所迁徙到八里庄（《光绪丙子清河县志》疑为韩信城）。其后十七年，金正大八年（1231年），南宋淮阴降金，改为镇淮府，次年，即为南宋江淮安抚制置使赵善湘收复（淮阴自秦设县至南宋，县治均在淮河南岸——今马头镇境内或附近）。南宋咸淳九年（1273年），首次设置清河县，属清河军。1274年，淮东制置使李庭芝迁县城于大清口（也称泗口，约今袁集乡桂塘村），同时（或前后），划出原淮阴县东境及其他地域，置新城县。清河县建立3年（迁县城后仅2年），地入于元。

元初，清河、淮阴、新城三县并置，撤销清河军，以县属淮安路录事司。至元二十年（1283年），并淮阴入山阳，淮阴于是四入山阳，而清河因为后成立而独自存在。泰定元年（1324年）黄河决口，大清口县城被毁，县尹耶律不花迁清河县城于甘罗城，清河始得淮阴故地而县境及于淮水之南。天历元年（1328年）县尹达鲁花赤哈麻又因甘罗城地僻水恶，居民甚少，迁县城于小清口之西北。离淮阴故城十里远，开始没有城墙，后来因战事需要，筑有东西北三面城墙（南面临河），边长3.5千米（今码头旧县）。

《梁书·武帝纪》：太清元年（547 年），秋七月甲子诏曰：改合肥为合州，北广陵为 淮州。

《淮阴市志》：萧梁立国之初，立淮州，治淮阴，辖盱眙、山阳、淮阴、阳平 4 郡。

《魏书·地形志》：淮州，萧衍置，魏因之。