该部前身为1937年12月组建的山西青年抗敌决死队第3纵队。在抗日战争和解放战争中，先后参加过百团大战和上党、运城、晋中、太原、扶眉、秦岭、成都等战役、战斗，攻克县以上城市19座。

1947年12月，人民解放军攻克运城后，山西临汾县城国民党守军仗恃2.5万余兵力和坚固城防，负隅顽抗。临汾为晋南军事重镇，地势内高外低，城墙依自然地形构筑，高15米，顶宽10米，基厚30米左右；城周碉堡林立，壕沟纵横，内外暗道相通，从城外到城内构成警戒阵地、护城阵地、城墙主阵地、城内纵深阵地等4道防线；城东关筑有外城，总体设防严密坚固，易守难攻。1948年3月7日，临汾战役发起后，第23旅在晋冀鲁豫军区前线指挥部统一指挥下，从东北发动进攻，夺取外围据点，一举攻克东关外城，占领护城阵地，控制住外壕，逼近内城。4月15日，前线指挥部针对临汾城垣坚固、攻城部队缺少重火器的实际情况，决定以坑道爆破为主要进攻手段。该旅接受任务后，以地面攻击配合坑道挖掘。国民党守军察觉后实施反坑道作战，在城壕底挖掘大量T形和Y形防御坑道，设置听音瓮，昼夜监听地下作业声响，发觉动静即向外对挖坑道，临近时予以爆破。驻城国民党守军还在飞机配合下，施放毒气弹、燃烧弹，并以小股部队出城反扑。第23旅在坑道缺氧情况下，克服困难，顽强掘进。为粉碎国民党守军破坏，保卫坑道安全掘进，他们与国民党军展开针锋相对的斗争，在主坑道两侧挖掘10多条分支坑道，监听敌作业声，主动掘进近敌，先行爆破。经过地面和地下的反复争夺，于5月16日挖成两条各110余米长的坑道，直达城墙底部。一条装黑色炸药6200千克，一条装黄色炸药3500千克。17日19时50分实施爆破，东城城墙两处各被炸开50余米宽的豁口。该旅突击队乘爆炸硝烟发起攻击，率先攻入城内，后续部队直插纵深，经激烈巷战，歼灭国民党守军5600余人，对战役的胜利起了决定性作用。