1894年9月，以第3、第5师团为核心组建。指挥官是山县有朋。当山县登陆朝鲜仁川时，平壤作战已经在第五师团司令野津道贯的指挥下进行，因此他将指挥权交给野津，攻占了平壤。同年10月，北进，经朝鲜半岛，到达鸭绿江畔。11月，占领义州，进而入侵满洲里。12月初，山县受召，野津被任命为第一军司令。同月中旬，占领海城。1895年3月，牛庄之战后，他们控制了整个辽东半岛。4月，中日《马关条约》签订。5月，返回日本。

1938年8月31日组建，初期军司令部设在中国保定，后又移至山西太原，长期担任山西占领军。其首任司令官为香月清司中将，参谋长为冈部直三郎少将，指挥日军第六师团、第十四师团、第二十师团等部。以后曾任该军司令官的有梅津美治郎中将、筱冢义男中将、岩松义雄中将、澄田四郎等。日军第三十六师团、第三十七师团、第四十一师团、第一一四师团、独立混成第三旅团、第四旅团、第九旅团、第十旅团、第十四旅团、第十六旅团都曾加入过该军的序列。 1945年9月中旬，日军第一军司令官澄田四郎中将率部在中国太原向中国第二战区司令长官阎锡山投降。