民国26年（1937年）“七·七事变”后，张宣武所在部队编入国民革命军第二十二集团军出川抗日。10月在平定县境与日军一个联队遭遇，激战竟日。此后该部以非常落后的四川土造步枪在黎坪、松塔、长凝和太原附近与装备先进的日军周旋，12月调往徐州。当时，日军占领济南后，急欲占领军事要地徐州，打通津浦线，于民国27年3月15日集中万余人围攻滕县。是日，张宣武被一二二师师长王铭章任命为城防司令。而参与守城的将士，加上张宣武率领的一个营，一共10个步兵连和1个迫击炮连，约1000多人，且多系师、旅机关的警卫、通讯连。面对强大的敌人，他向全体战士传达了师长王铭章“城存与存，城亡与亡”的命令，鼓励战士彻夜构筑工事。16日黎明，日军步兵在炮火和十多架飞机狂轰滥炸配合下，发动了猛烈进攻。11时许，敌炮将东南寨墙轰开一二十米宽的缺口，日军在数十挺机枪掩护下，发动了多次猛攻，均遭到防守东关的严诩营有力痛击。直到下午5时许，因防守东关的严营伤亡殆尽，被敌突入40多人，张宣武亲率预备队乘夜反击，全歼该敌，夺回了阵地。次日，守城将士增加到3个团，日军却增加到3万余人。拂晓，日军以五六十门山、野炮和二三十架飞机，不停顿地对城内进行轰击，两小时后，全城一片火海，遍地都是焦土。日军倚仗着上有飞机低空扫射轰炸，下有坦克掩护，气焰十分嚣张。18日东南角寨墙被敌炮炸开缺口后，8辆坦克掩护着百余日兵冲上来。守卫在这里的七二七团十营二连官兵全部为国捐躯，一连的勇士和敌人展开白刃战后，150名官兵仅剩下14人。日军突入城内后，张宣武率部与之巷战，坚持到黄昏时候，终因守军伤亡惨重，弹尽援绝不得不撤出滕县城。张宣武身负重伤，当晚被卫兵背出重围，经救治一年后始渐能行动。是役后，他晋升为一二二师三六四旅旅长，同时获“宝鼎勋章”一座和“干城奖章”一枚。民国29年宣武任一二二师师长，与日军转战于湖北钟祥、随县、襄樊、宜城、老河口及大洪山一带，给敌以大量杀伤。民国34年9月19日在河南漯河接受日军第13独立守备队的投降。10月24日奉第五战区司令刘峙之命，向西平、泌阳一带人民武装“扫荡”，与解放军皮定钧旅在平氏打了一仗。民国35年元月14日“国共停战协定”生效后，率部抢占解放军三五九旅主动退让的光山县城，受到蒋介石传令嘉奖，并获“忠勤勋章”1枚。2月，蒋介石在南京召开师以上干部参加的“整军复员”会议，动员大打内战，张宣武遂受命率部转战于晋、冀、鲁、豫地区。