1947年8月1日，根据中央军委决定，晋冀鲁豫军区所属太岳军区部队编为第22旅（不久调归陈谢集团建制）和第23、第24旅，在山西省襄陵县（今襄汾）组建晋冀鲁豫军区第8纵队，归晋冀鲁豫军区直辖。王新亭任司令员兼政治委员（后王鹤峰任政治委员），张祖谅任副司令员兼参谋长，周仲英任副政治委员，桂绍彬任政治部主任，全纵队共1.2万余人。12月，参加运城战役。

1948年3月，冀鲁豫军区独立第2旅调归第8纵队，改称第22旅。3～5月，第8纵队参加临汾战役。第23旅在临汾攻坚作战中战绩突出，战后被华北军区第1兵团授予“临汾旅”称号。5月，晋冀鲁豫军区与晋察冀军区合并为华北军区后，晋冀鲁豫军区第8纵队改称华北军区第8纵队，隶属华北军区第1兵团（由晋冀鲁豫军区部队编成）建制。6～7月，参加晋中战役。10月，参加太原战役，进行太原外围作战，攻占小店等据点和小窑头要塞。

1949年1月，根据中央军委关于统一全军编制及部队番号的命令，华北军区第1兵团所属第8纵队改称中国人民解放军第60军，隶属第18兵团（华北军区第1兵团改称）。王新亭任军长兼政治委员，张祖谅任副军长兼参谋长，周仲英任副政治委员，桂绍彬任政治部主任。第22、第23、第24旅依次改称第178、第179、第180师，共2.6万余人。4月，参加会攻太原。

太原战役结束后，第60军随兵团调归第一野战军建制，参加解放大西北的作战。张祖谅任军长，袁子钦任政治委员，白天任副军长，桂绍彬任副政治委员兼政治部主任，邓仕俊任参谋长。6月中旬，进抵陕西省西安地区。7～9月，参加扶眉战役和秦岭战役。11月，随兵团归第二野战军指挥（后转归第二野战军暨西南军区建制），参加解放大西南的作战。12月，从陕南进军四川，先后解放广元、剑阁、绵阳、金堂等16座县城，并配合第二野战军主力解放成都市。

1950年1月，第60军领导机关兼成都警备司令部，以第179师进军川西北，解放灌县（今都江堰市）、松潘、茂县等地。2月，军领导机关改兼川西军区领导机关，所属第178、第179师分别兼绵阳、茂县军分区，第180师兼嵋山、温江军分区。川西地区解放后，该军在参加地方政权建设、征收公粮、改造与整编国民党军起义部队的同时，进行了11个月的剿匪作战，共歼灭土匪6万余人。年底，除留第178师于川西地区外，军部率第179、第180师和第181师（12月由第61军调入）移驻河北省沧县、青县地区整训。

1951年2月，第60军改编为中国人民志愿军第60军，参加抗美援朝战争。

1949年4月25日，该军随兵团改隶第一野战军建制，向西北、西南进军，先后参加了扶眉战役、秦岭战役及解放成都等重大战役。12月30日成都和平解放，该军随兵力进驻成都，军部兼成都警备司令部，担任城防任务。1950年3月，第60军兼川西军区，所属各师兼各军分区。随后进行围剿川西土匪武装的作战。采取秘密潜入、内外夹击、奔袭、奇袭、猛打穷追及乌黑合击等战术手段，在11个月内作战57次，隶清了川西匪患，巩固了新生的人民政权，使该地区社会秩序大为稳定。

1951年3月，第60军参加中国人民志愿军行列，入朝作战。军长韦杰，政治委员袁子钦。4月，该军在朝鲜伊川一带集结。参加了第五次战役。在战役的第一阶段完成了割裂美军第25师、土耳其旅、美军第3师之间的联系，西插釜谷里、东豆川里，断敌退路，协同兵团主力歼灭敌的任务；第二阶段向东线南朝鲜军进攻时，取得一部战果，但第180师在退洞里、纳实里、贺德山等地区受敌包围，遭受挫折。6月8日，奉命将一线防务交由第27军接替，12日进至谷山地区进行整训。

1952年秋季，该军配属第20兵团，接替第68军东起文登里、西至北汉江一线的防务。此时军长韦杰奉命调军事学院工作，政治委员袁子钦调军委总干部部工作，由张祖谅任军长，王诚汉任副军长，邓仕俊任副军长兼参谋长，赵兰田任副政治委员。

1953年夏季奉命以打击南朝鲜军第5师为重点，并以打击方形山及883.7高地及其南诸高地为主要目标。6月10日，以潜伏手段接敌攻占883.7高地，守敌大部被歼，创造了歼敌1个团大部的范例，受到志愿军司令部的通报表扬。14日，第60军向949.2高地攻击并占领该高地；26日，向938.2高地攻击并占领该高地，随后参加金城以南、北汉江以西的反击作战。

临汾旅车元路、张贵云、黄道明、杨太忠、董光荣、郑朝元、张书明等数以万计的人民功臣、英雄模范人物。