抗日战争初期，新四军四大主力支队之一。1938年春，原闽西、闽赣边、闽粤边、浙南红军游击队合编为新四军第二支队，张鼎丞任司令员，谭政林、粟裕先后任副司令员，罗忠毅任参谋长，王集成任政治部主任，下辖第三、第四团，1800余人。4月，新四军军部从第一、第二、第三支队抽调部分干部和侦察支队，组成先遣支队，由第二支队副司令员粟裕率领赴苏南敌后进行战略侦察。6月中旬，第二支队开始分批东进，第四团一营留守军部改编为警卫营。7月，第二支队主力进入苏皖边地区。1939年2月，第三团调回皖南，归军部直接领导。11月，第四团主力与新四军挺进纵队合编成苏皖支队。11月，新四军第一、第二支队合并为新四军江南指挥部，对外仍保留第二支队番号。