1937年10月，日军侵入山东。中共山东省委（书记黎玉）根据中共中央关于迅速发动群众，开展游击战争，建立抗日根据地的指示，从1937年11月至1938年3月，先后在徂徕山等十多个地区领导举行抗日起义，建立武装，开展游击战争，为山东抗日根据地的创建奠定了基础。

1939年3月，第115师代理师长陈光、政治委员罗荣桓率师部和第343旅第686团进入山东，先后与山东纵队第6支队、苏鲁支队等部会合，开辟、扩大和巩固了鲁西、泰西、鲁南抗日根据地。8月，八路军第1纵队成立，徐向前任司令员，朱瑞任政治委员，统一指挥山东省及冀鲁边、苏北等地区的八路军部队。8月9日，成立山东军政委员会，统一领导山东党政军民工作，朱瑞任书记。10月，朱瑞接任中共中央山东分局书记。中共山东分局执行发展进步势力，争取中间势力，孤立顽固势力的方针，开展统一战线工作，团结国民党军鲁苏战区总司令于学忠领导的东北军，对以国民党山东省主席沈鸿烈为首的顽固派进行了有理、有利、有节的斗争。1940年6月，苏鲁豫皖边区和苏皖地区划归中原局领导。7月，山东省召开工、农、青、妇、文化各界联合大会，选举产生山东省临时参议会，范明枢任参议长；选举产生行使政府职权的山东省战时工作推行委员会，黎玉任首席组长（后改称主任委员）。到年底，先后建立了鲁西、清河2个行政主任公署、12个专员公署、79个县的抗日民主政权。山东省统一的民主政权的产生和各级民主政权的建立，标志着包括鲁西、鲁中、湖西、鲁南、滨海、胶东、清河、冀鲁边等地区，拥有人口1200万，土地3.6万平方千米的山东抗日根据地的形成。1941～1942年，是山东抗日根据地极端困难的时期。日伪军对山东根据地进行空前残酷的“扫荡”和“蚕食”，实行军事、政治、经济、文化和特务活动相结合的“总力战”，疯狂推行“治安强化运动”。两年中，千人以上的“扫荡”达70余次，万人以上的“扫荡”达9次。其中1941年冬对鲁中沂蒙山区根据地的大“扫荡”兵力达5万余人。加之这一时期国民党顽固派掀起第二次反共高潮，顽军配合日伪军夹击八路军，山东根据地遭到严重破坏。至1942年底，根据地人口减少到730万人，面积缩小到2.5万平方千米。除滨海、胶东、鲁中有成块的根据地外，其他各区均被分割成小块分散的游击区。1942年8月1日，山东纵队改称山东军区，归第115师指挥。3日，东北军第111师师长常恩多率部脱离国民党部队，进入滨海抗日根据地。1943年3月，山东抗日根据地实行党的一元化领导，各级党委成为各地区党政军民的最高统一领导机关，山东军区与第115师合并，成立了新的山东军区，罗荣桓任司令员兼政治委员，黎玉任副政治委员，萧华任政治部主任，辖鲁中、鲁南、滨海、胶东、清河、冀鲁边六个军区，所属部队主要编为13个主力团，使山东抗日根据地在战略方针和军事建设上达到完全的统一。9月，罗荣桓任中共中央山东分局书记；山东省战时工作推行委员会更名为山东省战时行政委员会，黎玉任主任委员。抗日根据地划分为鲁中、鲁南、滨海、胶东、清河和冀鲁边六个区，并先后建立了行政公署。这一年，山东抗日根据地的形势有了很大好转。在军事上，实行主力部队地方化，坚持分散性、群众性的游击战的战略方针，采用“敌人打到我这边来，我就打到敌人那边去”的“翻边战术”；开展政治攻势，争取和瓦解日伪军。同时，在根据地内实行减租减息，开展大生产运动，从而改善了抗日根据地的形势，开始扭转受日伪顽夹击的不利局面。1944年1月，清河区与冀鲁边区合并为渤海区，清河军区与冀鲁边军区合并为渤海军区。山东军区于1944年和1945年春、夏连续发起攻势作战，共歼灭日伪军12万人，解放县城18座，使鲁中、鲁西、胶东、渤海、滨海几块抗日根据地连成一片，巩固和扩大了山东抗日根据地。1945年8月13日，山东省战时行政委员会改为山东省政府，黎玉任主席。随后，山东军区部队分五路向拒不投降的日伪军展开全面反攻，经4个多月的连续作战，解放城镇、港口54座，歼灭日伪军12万余人，解放了除济南、青岛等少数大城市以外的山东广大地区。山东八路军部队发展到27万人，民兵50万人，自卫团150万人，山东抗日根据地发展为一个拥有2400万人口和12.5万平方千米土地，辖5个行政主任公署、22个专员公署和127个民主县政府的解放区。