1937年9月，在抗战危急时刻，国民革命军第七十四军组建，国民革命军五十八师师长俞济时被任命为军长。七十四军由已经投入淞沪战场的51师（师长王耀武）和58师（师长俞济时，俞升任军长后由冯圣法接任）组成，全军共3.2万人。该部队历任主官为俞济时、王耀武、施中诚等。

成立之初，七十四军就参加了淞沪会战。七十四军奉命在吴淞口布防，51师在罗店，58师在蕰藻浜，都是战线的关键之所。王耀武的51师与日军在此大战一场，顽强阻击，表现出色，七十四军从此崭露头角。从淞沪战场撤出后，七十四军来不及补充休整就投入南京保卫战，在湖熟镇、汤山镇、淳化镇等地与日军展开激战，多次击退日军进攻。七十四军经过补充后又参加徐州、兰封会战，在兰封会战中七十四军51师、58师会同87、88师重创日军第14师团。1938年7月德安战役（又称万家岭战役）爆发，七十四军58师以极其顽强的防御，顶住了日军113联队在空军支援下的多次猛攻，全师经过两天激战，仅存500人。10月7日，国军发起全线总攻，七十四军作为主攻部队奉命攻击日军在万家岭地区的核心阵地张古山，与日军反复争夺阵地，战斗至烈，七十四军守得住攻得上，居功至伟。1939年6月，俞济时升任第10集团军副司令兼86军军长，51师师长王耀武升任军长，七十四军下辖51师（李天霞）、57师（余程万）和58师（廖龄奇）。1941年3月，七十四军参加上高会战。22日，日军集中万余兵力在数十架飞机掩护下猛攻七十四军云头山、白茅山阵地，七十四军与日军反复争夺，先后7次与日军白刃肉搏，为友军赢得了集结的宝贵时间。在后来的全线出击中七十四军又作为先锋，乘胜追击，收复官桥，击毙日军第34师团长岩永少将。此役七十四军被第19集团军司令罗卓英评价为“战斗力量坚强”，荣获国民政府第一号武功状和最高荣誉“飞虎旗”，被誉为“抗日铁军”。1941年9月，日军发动第二次长沙会战，七十四军奉命参战。由于时间紧迫，部队白天行军，结果57师、58师在通过浏阳城西蕉溪岭隘路时，遭到日军飞机轮番轰炸，损失惨重。1943年11月，在常德会战中，七十四军57师8000人坚守常德城16天，顽强抗击了日军陆、空、坦克部队的协同攻击，在日军猛烈炮火甚至释放毒气情况下仍死战不退，展现了顽强的战斗精神。1944年1月，军长王耀武升任24集团军司令，施中诚接任军长。下辖51师（周志道）、57师（李琰）、58师（蔡仁杰）。 1945年5月，在湘西雪峰山战役中，七十四军再次显示出“抗日铁军”的雄风，给予日军以重创，获得两面“飞虎旗”。