1949年2月，根据中央军委关于统一全军编制及部队番号的命令，中国人民解放军第二野战军所属第10、第11、第12军，连同新组建的炮兵团，在安徽省阜阳地区组成第3兵团，共6.7万余人。陈锡联任司令员，谢富治任政治委员，王近山、杜义德任副司令员，阎红彦任政治部主任。

4～5月参加渡江战役，于安徽省安庆以东至枞阳镇间突破国民党军长江防线，直出浙赣线金华、衢州地区。6～8月，在浙江省金华地区和安徽省芜湖地区休整。9月初，由芜湖、南京（经徐州、郑州）东运至孝感、武汉，向湘西进发。11月初进军西南，参加川黔作战，兵团主力与第四野战军第42军等部在湘、鄂、川边界地区围歼国民党军宋希濂集团主力，之后直出川东南，30日解放重庆；第10军归第5兵团指挥，经黔东于21日解放遵义，后挺进川南。12月，参加成都战役，围歼国民党军胡宗南集团。12月下旬，兵团机关兼川东军区机关；第10军机关兼川南军区机关。随后，兵团所属部队执行清剿土匪、建立地方武装等任务。