1949年6月，中国人民解放军第一野战军根据中央军委决定，以所属第3、第4、第6军共7.4万人，在陕西省礼泉地区组成第2兵团，许光达任司令员，王世泰任政治委员，徐立清任副政治委员兼政治部主任（后朱明任政治部主任），张文舟任参谋长。

7月中旬～8月，先后参加扶郿战役、陇东追击战和兰州战役。9月初，挺进甘肃省河西走廊。21日，与第1兵团会师于张掖县城。25日，兵团组织的快速部队进占老君庙油矿（今玉门油田）。之后，第6军准备进军新疆，第3、第4军分别驻甘肃省河西地区和临夏、兰州地区执行剿匪、建立人民政权和维护社会治安等任务。10月，第2兵团部兼甘肃军区机关。11月，第6军拨归第1兵团建制，参加进军新疆；第1兵团第7军调归第2兵团建制，驻天水地区。1950年春，第4军和第7军各一部参加修建天（水）兰（州）铁路。4月，第2兵团所属部队归西北军区直辖。9月，第2兵团部免兼甘肃军区，调北京组建中国人民解放军摩托装甲兵领导机构。