为增强华中抗日力量，经中共中央批准，中共中央中原局于1940年8月，将进入陇海铁路以南、淮河以北、津浦铁路以东、皖东北地区的八路军第四纵队第二旅、第四旅第七团以及苏鲁豫支队、陇海南进支队，与已在该地区的新四军第六支队第四总队，统一整编为八路军第五纵队，归中共中央中原局指挥。纵队司令员兼政治委员黄克诚，参谋长韩振纪，政治部主任黄克诚兼。下辖第一、二、三支队，共9个团，及皖东北保安司令部，约2万人。

同年8～9月，第五纵队主力由淮北进入苏北，打退了日军和国民党顽固派军队的多次进攻，开辟了淮(阴)海(州)抗日根据地；留在皖东北地区坚持抗日斗争的第五纵队第二支队一部，配合新四军第五支队开辟了淮安、宝应地区抗日根据地。10月初，第五纵队主力继续东进至盐城、阜宁地区，配合新四军开辟了苏北抗日根据地。