该团前身为山东人民抗日救国军第3军第1大队，后发展成为胶东八路军主力部队。解放战争初期，参加过莱芜、孟良崮等战役。1948年9月，人民解放军华东野战军发起济南战役。济南为战略要地，是国民党军的防御重点，由第2“绥靖”区约11万重兵坚守。人民解放军华东野战军攻城兵团6个半纵队和特种兵纵队大部以及地方部队共14万人，于9月16日发起进攻。该团受领任务后，在团长张慕韩指挥下实施勇猛突击，迅速突破外围防线，于22日攻占济南外城永固门，进逼内城。23日下午6时总攻内城开始，该团担任主攻任务，奉命在城东南角实施突破。内城高14米，有多层明碉暗堡永备工事，攻击正面的护城河宽30米。团突击队在炮火掩护下越过护城河，连续对内城实施爆破，迅即登城。由于国民党守军猛烈反击，登城云梯接连被打断，致使登城受挫。全团官兵百折不挠，反复架设云梯，前仆后继，浴血奋战，终于在24日晨2时许突破城垣。遂又击退数倍于己的守军的多次凶猛反扑，并用700余千克炸药，将突破口左侧城墙炸开6米宽的豁口，使后续部队得以迅速向纵深发展。团主力入城后，大胆穿插分割，歼灭大批国民党守军。下午5时许，全团会同兄弟部队攻占了国民党守军指挥部，为全歼守军作出了重大贡献。此役，全团涌现战斗英雄、功臣模范118人，第7连获纵队授予的“济南英雄连”称号。1948年10月10日，中国共产党中央军事委员会授予该团“济南第一团”荣誉称号。