1938年7月后组建，首任军司令官为饭田贞固中将，参谋长为小林浅三郎少将，军司令部设在济南，下辖日军第二十一师团、第三十二师团、独立混成第五旅团、第六旅团、第十旅团等部。后任司令官为土桥一次中将等，日军第十七师团、三十五师团、五十九师团也曾加入该军战斗序列。1944年初为打通平汉路南段，日军第十二军调河南地区作战，这时军司令官为内山英太郎中将，后军部设在郑州，下辖日军第三十七师团、六十二师团、一一○师团、二十七师团、战车第三师团等部，共148000人，是进行河南会战的主力。1945年该军司令官为鹰森孝中将，参谋长为中山源夫少将，下辖日军第一一一师团、一一五师团、战车第三师团等部。1945年9月20日，该军司令官鹰森孝中将率部在中国郑州向中国第一战区司令长官胡宗南、第五战区司令长官刘峙投降。