1935年9月，由于张国焘分裂党和红军的行径，再过草地南下。10月至11月，部队强渡大金川翻过夹金山，先后进行了绥崇丹懋战役和天芦名雅邛大战役。1936年2月中旬，撤离天全、芦山地区，再次连翻几座雪山，顺小金川向丹巴、道孚方向前进，一路扫清道孚、炉霍、甘孜、瞻化等地之敌。为接应红二、六军团，原本按计划立即北上再过草地的曾绍山所部就地等待整训，并筹集粮食物资。1936年6月，两军在甘孜地区会师，曾绍山率红十师慰问队敲锣打鼓，抬着丰厚的慰问品热热闹闹地迎接兄弟部队，鼓舞了红军指战员的士气。

1936年7月上旬，红十师从瞻化出发，准备第三次过草地。在部队出发前，曾绍山将前两次过草地的经验编写成材料印发到连队，向战士们介绍如何识别水体是否有毒、哪些野菜能吃、哪些草墩能走人、如何选择土包露营、夜睡如何隔潮防雨、如何避免陷入泥潭、如何搭救陷入泥潭者等注意事项。由于准备充分，这次过草地虽然路程长得多，但部队减员显著减少。

抗日战争全面爆发后，红四方面军第四军被改编为八路军一二九师三八五旅，曾绍山任该旅七六九团参谋。1937年10月19日黄昏，他随部参与了夜袭阳明堡机场的战斗。此战歼敌100余人，毁伤敌机24架，创造了以步兵歼灭大量敌机的辉煌战例。之后，他随七六九团在正太路上连续进行了大小20多次战斗，歼敌3000多人。

1938年2月至4月，曾绍山参加了长生口伏击战和响堂铺伏击战以及反“九路围攻”战斗。在长生口伏击战中，七六九团奉命攻占娘子关。经过5个小时的激烈战斗，歼敌大部，并乘胜攻入井陉县，钳制了日军向晋南的进攻。由于在多次战斗中表现出色，曾绍山于1939年升任三八五旅参谋长。7月初，他协助部队首长指挥军队粉碎了日军对太行山抗日根据地的进犯，先后歼灭敌军1000多人。同年秋，全歼张荫梧部特务团和伪二军三旅七团。12月8日，他奉命参加邯（郸）长（治）战役，这一战役歼敌700余人，粉碎了日军对太行山区的分割，使太南和太北连成一片，有力地巩固了太行山抗日根据地的大后方。

1940年8月20日，八路军发动了著名的百团大战，在历时4个多月的战役中，曾绍山身先士卒，始终在第一线指挥战斗，屡立战功，多次受到上级表彰。1941年3月，他奉命到北方局党校学习，学习结束后，任一二九师新编第十旅副旅长兼太行军区第二军分区司令员。10月，新十旅机关与太行军区合并，他任新十旅旅长兼二分区司令员。此时，太行二分区正处在抗日战争的艰苦时期。敌人不仅在分区的中心地区安下据点，而且还隔断了分区和太行军区的联系，并不断进行“蚕食”和“扫荡”。曾绍山率军坚持敌后游击战争，多次粉碎日伪军的进攻，为太行抗日根据地的创立、巩固和发展做出了重要贡献。在对敌斗争中，他采取“敌进我进”的方针，组织起数支精干的武工队深入敌后，在半年时间内，摧毁和瓦解了根据地内大部分日伪建立的武装组织。同时大力开展对日伪军的工作，在日伪军内部建立了各种有利于八路军的关系，从而更好地了解对方的行动和计划。在协调军队和地方关系上，曾绍山强调军队要保护地方干部，要保护群众的利益，赢得了当地干部和群众的信任和支持。

曾绍山所在的太行二分区，位于正太、同蒲、白（圭）晋（城）三条交通线之间，被称为“太北的门户”，日军大量进行“扫荡”“蚕食”。到1942年初，全区原先纵横9个县境的根据地，被割裂成一块块。

面对困境，曾绍山和分区的几个领导提出，日军虽然占领了我们的广大城乡，但这是建立在暴力统治之上的、不巩固的，只要我们团结一致，坚决勇猛地向敌后前进，一定能恢复局面，获得发展。他决定进一步精简地委、分区和专署机关，充实下层。按照全区对敌斗争的几个主要方向，组织了平(定)西、昔(阳)西、寿阳、榆(次)太(谷)、和(顺)西等5个武工队，另外组织了一个侦察队和一个交通大队。武工队的领导干部全是团级负责人，成员绝大部分是从主力部队中挑选出来的班排干部和部分有斗争经验的战士。每一支武工队里，都配有来自地方政府各部门的干部：有做党的工作的，有懂日语的敌工干部，有熟悉民情地理的当地干部。这种精干的配置使每支武工队都能独立地作战和开展群众工作。

经过一段艰苦、细致的工作，各路武工队粉碎了日军割裂八路军与人民血肉关系的阴谋，群众把武工队员接到家里，把热菜热饭端到桌上，妇女们把战士们的棉衣拿去拆洗，老太太流着热泪抚摸着战士们冻伤的脸说：“孩子，你们受苦了!你们可回来了!”

第二军分区有了群众，就有了依靠，主力部队有了广大的回旋余地。村与村之间逐渐建立起了八路军的“无线电”，日军一出动，消息就很快传过来。有时日军从前村进，武工队从后村出。日军惯用的伎俩是烧、杀，但这吓不倒中国人民，只能增加广大中国人民的仇恨。各地的游击小队、游击小组迅速地发展起来，不断的打击日军。

1943年12月，曾绍山兼任二分区政治委员和地委书记。他领导二分区根据地军民一面坚持对敌斗争，一面开展以开垦荒地、发展生产为中心的大生产运动。不仅战胜了灾荒，而且密切了军民关系。

1944年春，晋冀鲁豫抗日根据地开始对日伪军进行局部反攻。曾绍山指挥二分区部队与三分区主力一起围困辽县，强袭洪社，攻克土里店等据点。为配合冀中区的子牙河战役，6月中旬，曾绍山指挥部队在宁晋以南发起攻势，经6天激战，攻克艾辛庄、东汪、东陈等据点，击退宁晋城出援之敌，歼灭日伪军700余人。在安阳战役中，曾绍山指挥二分区主力和太行一分区部队攻克仙翁寨、南佐、同冶镇等10余个据点，歼敌500余人。

解放战争时期，曾绍山先后任晋冀鲁豫野战军第三纵队副司令员兼参谋长、皖西军区司令员、中原野战军第三纵队副司令员兼参谋长、二野第十一军军长。其间，他率部队参加了上党、邯郸、陇海、定陶等数十次战役或战斗，为中国人民的解放事业建立了比较大的功勋。在上党战役中，他率部队歼灭国民党军近2万人；在邯郸战役中，他指挥3个旅毙伤俘大量敌军，其中击毙敌师长1人，俘虏敌师长1人；在定陶战役中，他率领第三纵队共歼敌5000余人，打垮了国民党军的右路大军，粉碎了其合击计划，对晋冀鲁豫解放区南方战线的局面的起到了重要作用。1947年8月7日，他率三纵随刘邓大军千里跃进大别山。10月15日，他在岳西县汤池畈就任皖西军区司令员。面对敌人重兵对皖西地区实施的全面围攻，他采取避强击弱的方针，指挥部队积极地打击敌人。同时，他还广泛发动群众，开展破路、反抓丁、反抢粮、反掠夺的斗争，并协助地方工作，不断扩建地方武装。至年底，县、区各级人民政权相继建立，皖西部队也有了较大发展，组建了6个县的独立团和第三分区基干团。

1948年3月，三纵主力随刘邓大军主力转出大别山，曾绍山率皖西军区部队和地方武装独立坚持大别山战略阵地，开展广泛的游击战争，连续粉碎了敌人的“三月扫荡”和“四月清剿”，并及时总结经验，开始向集中主力外线歼敌转变。经过半年的反“扫荡”和反“清剿”，共毙伤敌7000余人，俘敌4000余人，不仅坚守了根据地，而且还发展了新区。1949年1月，曾绍山由大别山返回纵队。3月，三纵在阜阳改编为中国人民解放军第二野战军第三兵团第十一军，曾绍山出任军长。4月21日，率部参加了渡江战役。此后，十一军在曾绍山的指挥下，历时23天，行程750公里，进行了40多次重要战斗，连克十几个县城，歼敌2.5万余人。6月下旬，十一军由浙江金华进军四川。

1949年10月中旬，发起川黔作战。十一军被编入左集团，协同兄弟部队会歼宋希濂集团。11月上旬，相继解放了成丰、黔江、南川县城。11月30日，十一军在友邻部队的协同下解放了重庆。至此，曾绍山指挥十一军胜利完成了川湘追击作战任务。12月5日，十一军主力向成都方向攻击前进，歼灭胡宗南第一军十八师一部，解放潼南县城；9日，解放南充；11日，将西逃之杨森部二十军、一三四师全部聚歼于古岗坝、文星场地区，俘敌1300余人；26日，十一军和兄弟部队歼灭李文兵团，生俘兵团司令李文以下5万余人。与此同时，成都宣告解放。

1950年1月，曾绍山调任第三兵团副司令员兼川东军区副司令员，协同指挥部队开展剿匪斗争并改造国民党起义部队等。11月，他奉命到南京军事学院学习。

1950年12月，曾绍山出任中国人民志愿军第三兵团第十二军军长。1951年3月，他到达朝鲜战场，率领十二军参加了第五次战役。1951年4月22日，他率领十二军随兵团担任中央突击任务。战斗开始后，他指挥十二军三十四、三十五师，同时向草幕、富兴洞的“土耳其旅”展开攻击，当即将敌击溃，歼敌300余人。随后，根据兵团的部署追击南进，在永坪、金谷之间，歼灭南逃之敌100余人，并突破了三八线。在追击前进的过程中，他准确地判断抱川地区的美军第二十五师和“土耳其旅”尚未后撤完毕，于是决定向抱川西南地区出击。27日清晨，第三十四师第一〇六团发现竹山以南寺谷松岘间有美军约300辆汽车装载步兵准备南撤，便立即组织攻击。这些美军遭受攻击后展开反扑，并出动约2个团的援军，在几个炮兵营和40多架次飞机的支援下，对第一〇六团阵地狂轰滥炸。一〇六团连续作战4个昼夜，迫使被困美军绕道南撤。十二军继续追击南进，于19日进抵汉江北岸。5月16日18时，东线志愿军各突击集团全线发起第五次战役第二阶段进攻。曾绍山率领十二军按预定计划奋勇前进，很快突破敌军一线阵地，向敌纵深展开猛烈的穿插和攻击。主力于三巨里歼灭韩军第五师一部，继而在自隐里北侧与美第二师及法国营展开激烈战斗，经过连续4次的猛攻，突破了加里山敌军阵地，歼敌2个营的大部分。此后，在向纵深发展时，攻占了扇坪。19日，十二军主力前出至踏枫里、新村地区，并向丰岩里攻击前进。担任迂回任务的第十二军第三十一师主力于20日黄昏前全部进至束沙里以北地区。5月21日，第五次战役的第二阶段作战结束。在这一战中，十二军共歼美军、韩军、土耳其军、法国军3660人，击毁坦克26辆、汽车49辆，击落击伤敌机26架，缴获汽车176辆等大量装备。

1951年11月8日，曾绍山奉命率十二军由谷山休整地抵达金城前线接防，替换第六十七军执行防御作战任务。在金城防御作战中，他指挥部队创造了坑道防御战术，并采用小型反击、阵前歼敌、小部队深入敌纵深、开展阵地狙击运动等手段，有力地打击了敌人。仅在1951年11月上旬至1952年1月下旬的2个多月中，十二军即组织小部队活动850次，平均每晚出动12个班组，每天捉1个俘虏，共毙伤俘敌525人，并缴获许多枪支，受到志愿军司令部的通报表扬。1952年1月起，十二军又组织开展了冷枪冷炮狙击敌人的活动。仅7月下旬至10月底的统计，十二军以5843发子弹狙击歼敌2506人，平均每2.3发子弹就毙伤1名敌人，取得了出色的战绩。在完成了为期1年的金城防御作战任务后，十二军于1952年10月21日将防务移交给第六十七军，再次回到谷山地区休整。

1952年，参加秋季战术反击作战及上甘岭战役、金城战役。

1953年1月中旬,曾绍山率领十二军由谷山地区开赴东海岸的元山、高原、永兴地区，组织东海岸防御，和朝鲜人民军第二、五军团粉碎敌人从元山、咸兴方向登陆的图谋。4月18日，曾绍山调任志愿军第三兵团副司令员。

在朝鲜作战的2年内，曾绍山率领十二军先后与敌交战数百次，歼敌4.1万人，毁伤敌坦克、汽车170余辆，击落击伤敌机286架，缴获汽车176辆、各种炮90门、枪3237支等大批装备；全军荣立三等功以上的英模人物14618人、二等功以上英模集体167个，胜利完成了赴朝作战的任务。荣获朝鲜民主主义人民共和国一级自由独立勋章、二级国旗勋章。

曾绍山从朝鲜回国后，任旅大警备区司令员，1955年被授予中将军衔，荣获二级八一勋章、一级独立自由勋章、一级解放勋章。此后，他历任沈阳军区副司令员、政委，辽宁省委第一书记，济南军区顾问等职。是中共第九、第十、第十一届中央委员，第六届全国人大常委会委员。1988年获一级红星功勋荣誉章。1995年1月26日在济南逝世，享年81岁。

土地革命战争时期，任红四军政治部少年宣传队队长，红四方面军教导团少共团委书记、少共国际团排长，第10师28团一营书记、师政治部秘书、司令部参谋。参加了长征。

抗日战争时期，任八路军129师385旅司令部作战股股长，13团参谋长，385旅参谋长，太行军区新编第十旅副旅长兼第二军分区司令员、第二军分区政治委员兼中共地委书记。

解放战争时期，任晋冀鲁豫军区第三纵队副司令员，皖西军区司令员，第二野战军11军军长。中华人民共和国成立后，任中国人民解放军第三兵团副司令员兼川东军区副司令员，中国人民志愿军第三兵团军长、兵团副司令员兼参谋长，旅大警备区司令员，沈阳军区副司令员、政治委员，中共辽宁省委第一书记，济南军区顾问。

是第四届全国人民代表大会代表，第六届全国人民代表大会常务委员会委员，中国共产党第九、十、十一届中央委员。