1940年8月，进入陇海铁路（今兰州―连云港）以南、津浦铁路（天津―浦口）以东、淮河以北的皖东北地区的八路军部队和原在该地区的新四军部队及地方武装，统一整编为八路军第5纵队，归中共中央中原局指挥。黄克诚任司令员兼政治委员，韩振纪任参谋长，黄克诚兼任政治部主任（后吴法宪任政治部主任），下辖由八路军苏鲁豫支队第1大队等改编的第1支队（辖第1、第2、第3团）；八路军第4纵队第2旅第5、第6团和第4旅第7团改编的第2支队（辖第4、第5、第6团）；八路军陇海南进支队和新四军第6支队第4总队改编的第3支队（辖第7、第8、第9团）和皖东北地方武装组成的皖东北保安司令部，共约2万人。8～9月，第5纵队主力东渡运河，打退了日伪军和国民党顽军的十多次进攻，初步开辟了淮海区抗日根据地。与此同时，留在皖东北地区的第5纵队一部，就地坚持抗日斗争，配合新四军第5支队和地方武装，进行反“扫荡”作战，拔除日伪军据点多处，抗日根据地发展到淮（安）宝（应）地区，并沟通了与皖东抗日根据地的联系。10月初，第5纵队主力由涟水以北渡盐河南下，突破国民党顽军的阵地，进至盐（城）阜（宁）地区。10日，与新四军苏北指挥部部队在东台以北的刘庄、白驹镇一线会师。11月中旬，第5纵队隶属华中新四军八路军总指挥部。至12月，开辟了包括皖东北、淮海和盐阜地区约1000万人口的抗日根据地。1941年皖南事变后，改编为新四军第3师，第5纵队番号撤销。