1940年2月上旬，中共中央和八路军总部为统一太行山南部地区抗日武装的作战指挥，决定成立八路军第2纵队。八路军副参谋长左权兼任纵队司令员，黄克诚任政治委员，辖第115师第344旅、山西青年抗敌决死队第3纵队（相当旅）、新编第1旅、河北抗日民军第1旅和第129师独立游击支队。2月底，为加强冀鲁豫边区的抗日斗争和武装建设，黄克诚率第2纵队的第344旅、河北抗日民军第1旅及第129师独立游击支队挺进冀鲁豫边区。

1940年5月下旬，黄克诚奉命率第344旅和新编第2旅主力南下豫皖苏边区，参加华中地区的抗日斗争。杨得志率第2纵队新编第3旅、河北民军第1旅及新编第2旅第4团继续坚持冀鲁豫边区的抗日斗争，先后粉碎了日军的多次“扫荡”，击退了国民党顽固派的军事进攻。