虽然名义上军队是献给天皇了，天皇是军队最高统帅，但其不能直接指挥军队，所以就组建了辅佐天皇指挥军队的参谋机关。1878年参谋局从陆军省独立出来，成立参谋本部。参谋本部直属天皇，无需对政府和议会负责，无需向内阁总理大臣请示。山县有朋（日本军国主义祖师爷）为首任参谋总长。参谋本部从政府独立出来，意味着军政和军令分离，说得严重些就是政治和军事分家了。但是别以为参谋本部就是日本全军的参谋部，实际上只是日本陆军自己的参谋部。海军还没有参谋部呢，山县有朋认为海军是陆军的配属，陆军是主角，海军是配角。这下子日本海军可不干了，1888年海军成立了海军参谋本部，1898年改称海军军令部，1933年去掉“海军”二字，称为军令部，这是日本海军不断与日本陆军斗争，争取平等地位的结果。所以在二战时参谋本部就是指日本陆军参谋部，军令部就是日本海军参谋部。这样日本陆海军的统帅权也分家了。军政和军令分家，陆军和海军统帅权分家的直接后果就是协同作战极为不便利。在二战时日本陆军和日本海军互相争夺资源，互相拆台。激烈到陆军有自己的航母，海军有自己的坦克，并且在二战日本原子弹研究上陆军和海军另起炉灶自己研究自己的，互相不合作。战败后的日本人反思战败原因，总结经验教训，继往开来建设新日本，决定革除这种二元制的弊端，建立三军联合的参谋部。这就是建立统合幕僚监部的初衷。