日本海军之后在“复制·改进·创新”的政策下继续了自己的扩张道路。工厂经常会为测试和分解买入两艘相同型号的外国舰艇，随后对其进行研究和改进。这样子的作法使得最初只能依靠进口的军舰逐渐可以在国内进行组装，直到最后可以完全国产，从一八八〇年代开始的小型鱼雷艇到一九〇〇年代早期的大型战列舰。1905年（明治38年）建造的“萨摩”百分之八十的部件来自于英国，而在1910年（明治43年）完成的“河内”只有百分之二十的部件需要靠进口。

日本海军最后的大型军舰进口是在1913年（大正2年）从“维克斯”购买的“金刚”战列巡洋舰。1918年（大正7年），日本在大部分军舰的制造工艺上已经达到了世界水平。在经历了“日本海海战”（对马海峡海战）后，佐藤铁太郎等海军思想家开始规划了一个将来和“美国海军”对抗的政策，佐藤希望日本战列舰的规模必须达到对方实力的百分之七十以上。1907年（明治40年），海军开始了建立“八八舰队”政策，但是因为财政问题未能成为现实。1920年（大正9年），日本海军基本成为了世界第三大海军。

介于在1902年（明治35年）签订的“英日同盟”条约，日本以英国的盟友身份进入了“第一次世界大战”。在“青岛战役”中夺取了德国在青岛的海军基地。1914年（大正3年）9月5日，日本海军的水上机母舰“若宫”发起了世界上第一次海航攻击。1914年（大正3年）11月6日，驻守青岛的德军投降后，一个战斗部队把德国海军的“东亚巡洋舰战队”追到了南大西洋后被皇家海军在“第一次福克兰群岛战役”中被歼灭。日本根据“凡尔赛条约”下的“南洋厅”获得了德国在密克罗尼西亚群岛的部分领地，包括了马里亚纳群岛（除了关岛），加罗林群岛和马绍尔群岛。虽然英国一度要求向日本海军借四艘“金刚级”战列舰，但是被日本拒绝。

1917年（大正6年）3月，日本海军向地中海派出了一个特别小队，其中包括了一艘防护巡洋舰“明石”和八艘最新型的驱逐舰，保护了协约国在马赛，塔兰托和埃及的海运线。“明石”后来被“出云”替换并且加入另外四艘驱逐舰和“日进”装甲巡洋舰。到了“第一次世界大战”结束时，日本海军保护了七百八十八艘协约国的船只，驱逐舰“桦”被一艘奥地利的潜水艇击沉导致五十九名官兵战死。1918年（大正7年），“吾妻”巡洋舰被派往了印度洋维持新加坡和苏伊士运河之间的海域。在战争结束后，日本获得了七艘从德国海军被除籍的潜水艇。主条目：青岛战役和第一次世界大战。

1918年（大正7年），日本海军邀请了法国军事团队来到了日本演示航空兵的运作。1921年（大正10年），一个叫做“森皮尔”的英国军事顾问队在日本居住了一年半展示了最新的飞机（如格洛斯特“雀鹰”）和战术。同年日本海军的预算达到了国家财政收入的百分之三十二，世界上第一艘正式的航空母舰“凤翔”竣工。四百一十毫米口径的“长门”和四百六十毫米口径的“大和级”战列舰后来成为了日本海军“大舰巨炮主义”的象征。1928年（昭和3年），日本海军推出了“吹雪型驱逐舰”驱逐舰，开创性的一百二十七毫米口径炮和鱼雷塔成为了其它海军模仿的目标，而它六百一十毫米的“九三式鱼雷”直到二次大战结束前为世界上最优秀的鱼雷之一。

在“第二次世界大战”爆发前，特别是因为“第二次中日战争”的影响，日本海军开始把未来的主要对手定为美国海军。日本海军在这段时期所面临的问题可以说要比其他任何海军都要严峻。日本的经济运转很大程度上依赖于海外资源的进口，而为了保护如在南海地区的石油，必须维持一个大型远洋舰队。但是这样子的体系就和原本受到马汉思想影响的“舰队决战”（让潜水艇在太平洋先伏击来袭的敌舰，随后再在日本海和剩下的敌人进行一次最后的决战）政策相冲突。在佐藤铁太郎的建议下日本曾在“华盛顿海军条约”中强调了维持达到美国海军战列舰数量百分之七十（给予日本在决战中优势）的要求，而对方则只希望保持在百分之六十。

日本工业输出的局限性逼迫日本只能追求在战舰质量，训练和战术上优于对手。但是日本海军忘了他们以后在“太平洋战争”中将面对的敌人缺少了以前交战对手的政治与地理的束缚，而且未能将舰队和人员的损失计算在内。这些年里在战列舰和航空母舰的问题上也有过激烈的争论，但未能得出一个最终论证，使得两种军舰都得到了开发，却未能帮助某一种取得数量上的绝对优势。1941年（昭和16年），日本帝国海军拥有了十艘战列舰，十艘航空母舰，三十八艘重型和轻型巡洋舰，一百十二艘驱逐舰，六十五艘潜水艇和其它舰艇。

在“太平洋战争”初期，日本海军依靠了装备和战术的优越性在快速进攻的准则下席卷了在太平洋上的主要对手。不过美国在工业输出和新颖技术发展的推动下渐渐的把战局扭转了过来。日本海军未曾在防守工事上做过大规划，暴露了自己重要的通讯系统，缺乏有效反潜力量来保护海运补给航线，同时又没用其庞大的潜水艇部队来运送物资装备。到了战争末期，日本帝国海军只能被迫使用极端的作法，如“特别攻击队”来阻止敌人的进攻。1945年（昭和20年）8月14日，日本政府接受了“波茨坦公告”。8月15日，“日本放送协会”播放了由昭和天皇阅读的“终战诏书”，正式宣布了日本无条件投降。9月2日，日本代表团的十一人，包括代表了“大本营”的大日本帝国陆军参谋长梅津美治郎在降书上签了字。之后，日本作为一个主权国家的历史被终结，其海军也被解散，残余的作战舰艇被拆解与瓜分（蒋中正的中华民国政府也接收了包括雪风号驱逐舰在内的大量日军舰船），只余下少量小型船只给海上自卫队。

日本海军隶属于帝国海军省管制，最高阶级的干部被称为“三长官”（日本海军三长官），即海军大臣、军令部总长与联合舰队司令长官。

1941年（昭和16年），日本海军在战列舰上的巨大投资促使世界历史上最大的战列舰“大和”号在同年年底竣工。“第二次世界大战”（太平洋战争）的后半期也是战列舰之间进行的最后几次较量。1944年（昭和19年）10月25日凌晨，美国海军“第七舰队”的一只增援部队，包括了六艘战列舰，四艘重型巡洋舰，四艘轻型巡洋舰，二十八艘驱逐舰和三十九艘鱼雷艇，在“莱特湾海战”中的“苏里高海峡之战”里开火并且击沉了西村祥治中将指挥的“山城号”战舰和“扶桑”号战列舰。同日在“萨马岛之战”中，栗田健男中将旗下的“大和”，“长门”，“金刚”和“榛名号战舰”四艘战列舰在美国海军驱逐舰与护卫驱逐舰的干扰下，外加自己对于战局的误算未能有效的歼灭对方“塔非三”机动部队中的护航航空母舰。随着海军航空力量的成熟，在“太平洋战争”的后期，战列舰常常只能执行对岸袭击和为航空母舰护航等任务。“大和”和“武藏”在未能到达可以对敌方舰队进行射击的距离内就因对空袭而被击沉。随着科技技术的转变，对更大吨位与口径的战列舰计划如“超大和型战舰”则被取消。

1919年，横须贺开工建造世界上第一级作为航空母舰来建造的舰艇凤翔号。在一九二〇年代，“加贺”（原本是战列舰）和“赤城”（原本为战列巡洋舰）为了符合“华盛顿海军条约”被改造成了航空母舰。1935年（昭和10年）至1938年（昭和13年）间，“加贺”和“赤城”为了容纳更多飞机经历了几次改装。日本海军旗下的十艘航空母舰在“太平洋战争”开始的时候是世界上最大乃至最先进的航母舰队之一。战争的初期美国海军拥有七艘航母，但在太平洋只有三艘。而英国皇家海军的八艘航空母舰只有一艘在印度洋周边服役。直到“埃塞克斯级航空母舰”的出现，日本海军的“翔鹤级航空母舰”在很多方面基本拥有最先进的设备。不过因为“华盛顿海军条约”和“伦敦海军条约”的影响，限制了不少舰艇的大小。在“中途岛战役”后，日本海军损失了四艘旗舰航母与相关船员，迫使其只能把商用和其它军舰改装成如“飞鹰”般的小型护航航母。而另外一套改造计划，“信浓”，则把“大和级战列舰”的三号舰改装成了“第二次世界大战”中最大吨位的航空母舰。虽然其余的旗舰航母在战争结束前都未能完成，但是在1944年（昭和19年）6月出航的“大凤”号成为了日本海军唯一的一艘安装了装甲甲板和全封密式仓库的母舰。

在“太平洋战争”开始时，日本海军拥有了全世界最完善的战斗系统之一。“零式战斗机”战斗机作为最先进的舰上战斗机之一，三菱“九六式陆上攻击机”和川西“二式飞行艇”也是它们各自领域里最优秀的飞机之一。同时，很多日本海军航空队队员不仅接受了高强度的训练而且不少都经历了“第二次中日战争”的洗礼。日本海军的“九六式陆上攻击机”和“一式轰炸机”在1941年（昭和16年）12月10日成功击沉了英国皇家海军的“威尔士亲王号战列舰”和“反击号战列巡洋舰”。随着战争的延续，虽然日本海军的航空机拥有相当可观的航程，但却为其牺牲了重要的装甲。当安装了更多保护措施的重型美国海军舰载战斗机大量出现时，常常可以针对性攻击敌人的这项弱点。而为了训练一名出色的舰载航空兵一般需要两年的时间，日本海军缺少了一套有效的训练系统来弥补在作战中不断失去的优秀战斗机驾驶员。日本海军航空兵在战争后期的经验不足在“菲律宾海海战”等战役中付出了残酷的代价。在“莱特湾海战”后则越来越依赖于“神风特攻队”。到了战争末期，日本海军虽然推出了几种如川西“紫电改”和“雷电”等优秀的设计，但因为工业能力与资源的限制，外加对方针对性的轰炸未能量产化。为了弥补数量上的劣势出现了如九州“震电”歼击机和“樱花”特别攻击机等极端设计。而中岛的“橘花攻击机”和三菱的“秋水”得到了盟友德国方面的技术援助（大部分通过图纸），但都未能对战局有任何改变。

日本海军在整个“第二次世界大战”中拥有了种类最丰富的潜水艇部队。从有人操纵的“回天”式鱼雷，“蚊龙”与“海龙”式小型特殊潜水艇，中型潜水艇，补给潜水艇（大部分为陆军所用），远距离潜水艇（不少载有飞机），“伊二〇一型”高速潜水艇到可以携带三架晴岚攻击机的“伊四〇〇型潜舰”。其中还包括了世界领先的五百三十三毫米“九五式鱼雷”。1942年（昭和17年）9月9日，“伊号第二五”潜水艇的藤田信雄兵曹长执行了在整个战争中唯一的一次对北美大陆本土的空袭。有些其它潜水艇如“伊三〇”，“伊八”，“伊三四”，“伊二九”和“伊五二”舰艇远渡重洋到达了在德国控制下的欧洲战场。“伊号第一〇潜水舰”，“伊一六”和“伊二〇”参加了从1942年（昭和17年）5月份开始的“马达加斯加之战”。不过总体来说日本海军潜水艇部队在战争中没有取得太大战果。很多潜艇与其对商船进行攻击，却把目标定为了更加快速而且拥有更多保护措施的战舰。1942年（昭和20年），日本海军的潜水艇击沉了“约克镇”和“胡蜂”号舰队航母，一艘巡洋舰外加其它几艘驱逐舰和舰艇，击伤了如“萨拉托加”号等。但是随着敌方对于保护措施的加强未能保持如此的战绩。到了战争末期，不少潜艇被用于运送物资。日本海军的一百八十四艘潜水艇队伍在整个“第二次世界大战”中击沉了大约一百万吨（一百七十艘）的商船。相比，皇家海军击沉了一百五十万吨（四百九十三艘），美国海军击沉了四百六十五万吨（一千〇七十九艘），而德国海军旗下的一千艘“U－潜艇”则击沉了超过一千四百五十万吨（两千艘）的敌舰。终战后，被除籍的几艘大型舰艇如“伊四〇〇”，“伊四〇一”，“伊二〇一”，“伊号第二〇三潜水舰”在苏联的反对下被送到了美国进行分解。

在“第二次世界战争”（太平洋战争）结束前，日本海军为了弥补渐渐处于劣势的主力舰队组建了不少以“一人换一舰”为目的的“特别攻击队”（「特别攻撃队」）。这些部队包括了“神风”式轰炸机，“震洋”式攻击艇，“海龙”式特殊潜水艇，“回天”式鱼雷和“伏龙”式手持水雷。1945年（昭和20年）6月，大约两千架“特攻”部队的飞机在“冲绳岛战役”中击沉了三十四艘战舰，击伤三百六十四艘。