抗日战争时期，八路军先后组建过2个第4纵队：1938年5月，八路军为执行中共中央关于开展冀东敌后游击战争，创建以雾灵山为中心的抗日根据地的战略任务，以第120师雁北支队和晋察冀军区的1个支队，于平西（今北京以西）斋堂、杜家庄地区合编为第4纵队，宋时轮任司令员，邓华任政治委员，李钟奇任参谋长。辖第11、第12支队和独立营、骑兵大队，共5000余人。6月8日，第4纵队由平西出发，取道平北，向冀东挺进，沿途连克昌平、延庆、永宁、四海等城镇。

随后，第4纵队留下第12支队第36大队和骑兵大队在平北坚持游击战争，主力继续东进，17日占领兴隆，21日进抵蓟县以北的将军关、靠山集、下营地区。7月，第4纵队主力配合中共冀热（热，热河省，今分属辽宁、河北、内蒙古）边特委发动和领导了冀东20余县及开滦煤矿共20余万人的武装暴动，建立了约10万人的抗日武装，先后攻克了平谷、蓟县、迁安、玉田、乐亭、卢龙等县城，控制了冀东广大地区，并建立了抗日民主政权。