南朝陈太建五年(573年)五月伐北齐。八月戊午置大雷郡，新冶县（今望江县城雷阳镇）为郡治所。

隋开皇三年(583年)，废大雷郡，新冶县属熙州（治怀宁，今潜山县城梅城镇）。

隋开皇十一年（591）改新冶县为义乡县，仍属熙州。乾隆三十三年《望江县志》载：“陈、隋间，县有义士助国平时难，隋文帝旌为义乡。”

开皇十八年（598）改义乡县为望江县，属同安郡。县城东南的宝塔河一带曾是长江故道，登城中钵盂山，可一览江流之胜，故名望江。

大业三年(607年)四月，改熙州为同安郡(仍治怀宁，即故皖城)，望江县属同安郡。

唐武德四年(621年)，复同安郡为舒州(仍治怀宁，即故皖城)，仍领望江县。五年，割望江县置高州，望江县为州治。不久，改高州为智州。望江县仍为州治。七年，废智州，望江县改属严州(治宿松，今宿松县城关镇)。八年，废严州，望江县改属舒州(仍治怀宁)。