1884年在日本仙台组建。日军常备师团建制编制有两个步兵旅团，共4个步兵联队及骑兵、炮兵、工兵、辎重联队等，全师团共2.2万人，装备有四一式山炮12门、三八式野炮36门、37毫米速射反坦克炮12门、轻型装甲车12辆。因日本陆军实行地区后备役兵员征兵制，每个陆军师团平时戍守的地区，又是该师团官兵的家乡和补充兵源的地区。第二师团平时驻守在日本仙台、宫城、福岛、新泻等地，该部官兵全部为该地区人。因日本陆军称呼某师团名称常冠以地名或该师团主官名字，故第二师团又称“仙台师团”。曾作为关东军的部队驻扎在中国东北，太平洋战争中，曾参加瓜达尔卡纳尔岛争夺战等。曾任该师团师团长的有多门二郎中将、冈村宁次中将、丸山政男中将、冈崎清三郎中将、马奈木敬信中将等人。