抗日战争全面爆发后，1938年10月，根据中共中央的指示，由香港回到惠阳，任中共惠（阳）宝（安）工委书记，领导组建惠宝人民抗日游击队。在敌强我弱的极端困难条件下，他坚定不移地执行党的指示，放手发动人民群众，组织抗日自卫队，发展人民抗日武装力量，建立抗日根据地，实行人民战争。与此同时，坚决贯彻执行党的抗日民族统一战线的政策，争取海外华侨、港澳同胞和各阶层爱国人士的同情和支持。在他的努力下，有1000多名华侨子弟和港澳爱国青年回国参加游击队，这对部队的建立和早期部队的巩固和发展，起了很大的作用。1940年8月，任广东人民抗日游击队第3大队大队长，率部开进东莞县的大岭山区建立抗日根据地。11月，指挥所部取得百花洞战斗的胜利，击毙日军长濑大队长以下50余人。广州日军首脑哀叹：“这是进攻华南以来最丢脸的一仗。”1943年12月广东人民抗日游击队东江纵队成立，他任司令员。与政治委员林平等率部在日伪军和国民党顽固派军队的夹击下，转战东江两岸，后挺进粤北山区，建立东江抗日根据地，坚持艰苦复杂的军事和政治斗争。1941年太平洋战争爆发后，曾参加组织护送撤离香港的著名民主人士、文化界人士和国际友人至后方安全地区。抗日战争中，他为创建华南抗日根据地、发展壮大华南抗日武装作出了卓著贡献。