1937年“七七”事变后，冀中地区许多抗日武装迅速发展起来。为武装抗日、保卫家乡，曾任东北军团长、离职回乡的河北省献县回族爱国人士马本斋团结献县、河间地方士绅和回族爱国青年，于8月30日组织成立数百人的回民抗日义勇队。

1938年3月，回民抗日义勇队接受共产党的领导，改编为八路军河北游击军回民抗日教导队。5月，与这一地区的另一支武装回民干部教导队合编为八路军第3纵队兼冀中军区回民教导总队，马本斋任总队长。随后，回民教导总队进行军事和政治训练，提高部队的战斗力。9月，回民教导总队到无极、藁城、新乐地区开展敌后游击战争，开辟抗日根据地。

1939年7月，回民教导总队正式改称回民支队，马本斋任司令员，郭陆顺任政治委员。

1940年，回民支队进至河北深县（今深州）南部地区开展抗日斗争，先后进行栖凤庄、南花盆、贡家台、康庄、榆科等数百次战斗。10月，冀中军区第三次政治工作会议上毛泽东对回民抗日支队给予高度评价，亲笔题字“百战百胜的回民支队”。