东晋太元中侨置南谯郡，治所在山桑县（今安徽省巢湖市南约二十里秀芙乡）。

刘宋元嘉八年（431年），酂县、銍县改属历阳郡（治历阳，今和县历阳镇），南谯郡仅领3个侨县，属徐州。

南齐，地改属南豫州（仍治故钟离城），南谯郡（治山桑故城，名南谯城，今全椒县襄河镇北），领曲阳、山桑、扶阳3个侨县。又置嘉平县（故城位今全椒县襄河镇西南7.5公里地名东嘉平、西嘉平的地方），属南谯郡。酂县改属临江郡（今和县乌江镇）。

南朝梁，移治蕲县（今安徽省巢湖市）。

北齐废南谯郡。