1938年春，根据国共两党关于编组新四军的协议，原活动在闽北、闽东等地的红军游击队改编为新四军第3支队。军参谋长张云逸兼任支队司令员，后谭震林任副司令员，赵凌波任参谋长，胡荣任政治部主任。下辖第5、第6团，全支队共2100余人。第5团由闽北红军游击队改编组成，团长饶守坤、副团长曾昭铭，2月25日从江西省铅山县石塘镇出发，4月初抵达岩寺。第6团主要由闽东红军游击队改编组成，团长叶飞、副团长阮英平（后吴焜），2月14日从福建省屏南县双溪、棠口出发，4月初抵达岩寺。

3月，第3支队到达安徽省歙县岩寺附近地区，进行短期整训。7月，为策应第1、第2支队挺进苏南，保卫军部领导机关及后方单位，第6团一部进至皖南抗日前线，转战于宣城、芜湖地区。10月，支队率第5团及第6团一部受命担任青弋江阵地的防御任务，取得清水潭、马家园等战斗的胜利。12月，第3支队奉命调铜陵、繁昌沿江地区，配合国民党军抗击日军的进攻，坚持皖南抗战。此时，第6团调赴苏南，划归第1支队建制。