晋惠帝元康七年（297年），析临淮郡置淮陵郡、堂邑郡，永宁元年（301年），设淮陵国，仍属徐州。以司马伷第四子司马漼为淮陵王。淮陵郡治所在淮陵县（今安徽省明光市女山湖镇邵岗境内）。永嘉之乱后，石勒废淮陵为县。

东晋大兴三年（320年），侨置淮陵郡。刘宋再为淮陵郡，下辖3县：司吾县、徐县、阳乐县，治所司吾县，属于南徐州。南齐建武三年（496年）省泰山郡属，下辖司吾、武阳县，省甄城、阳乐、徐县。后废除淮陵郡。