1931年，九·一八事变后，面对民族危亡，张文偕急切地盼望早日投入抗日救国的伟大斗争中。

1933年6月，张文偕从苏联回国，党组织派他到李延禄领导的东北抗日救国游击军担任政委（至7月）。7月，部队改称东北人民抗日革命军，张文偕仍任政委（至11月）。

1934年5月，根据吉东局指示，张文偕来到饶河工作，任饶河反日游击大队大队长，崔石泉（崔庸健）任政治部主任，李学福任军需长。张文偕到游击队之前，游击队根据党的反日民族统一战线思想，在建队初期就与救国军联合作战。在联合的过程中，救国军中的一些反动军官极力破坏游击队在群众中的威信，妄图吞并游击队，双方发生军事冲突，游击队遭到重大损失。张文偕了解到游击队同救国军在联合过程中的这段情况后，根据党中央《给满洲各级党部及全体党员的信》中指出的实行反日民族统一战线的思想，分析了饶河游击队面临的形势和任务，认为建立巩固的统一战线，加强党对各种抗日武装的领导，是壮大游击队、开展抗日斗争的重要任务。他和游击队的其他同志总结了游击队同救国军联合中的经验教训，制定了积极宣传和稳妥联合的方针，一方面积极宣传党的反日民族统一战线思想，扩大党的抗日方针在救国军和山林队中的影响；一方面又主动联合积极抗日的队伍，吸收坚决抗日的武装力量加入游击队。张文偕在开展抗日武装统一战线工作的同时，带领游击队积极打击敌人，用不断取得军事上的胜利来扩大游击队的影响，提高游击队的威望。游击队在张文偕的出色指挥下，多次取得了打击日伪军的胜利。6月，张文偕又率领游击队打垮了暴马顶子苑福堂走狗队。苑福堂走狗队鱼肉人民，认贼为父，极力破坏饶河地区的抗日斗争，是游击队开展抗日活动的一大障碍。为除掉这一祸害，经党组织研究决定，由张文偕率领游击队消灭这股敌人。由于计划周密，指挥有方，70多人的走狗队被击溃，游击队损失很小。7月初，游击队在张文偕率领下，攻打抚远，击败60多名守敌，缴获17支步枪和棉布等一些物资。救国军残余部队和一些山林队在游击队的宣传工作和战斗胜利的影响下，再加上面临日伪军“讨伐”，活动日趋困难，便积极向游击队靠近。张文偕根据这个形势，于7月15日在宝清县义顺号召集了游击队和各抗日部队参加的联席会议，制定了共同打击日本侵略者、没收敌财产按人平均分配胜利品、不抢夺群众东西等联合抗日的方针和政策。在联席会议上，各抗日部队一致表示接受游击队的领导，要求把自己的队伍编入游击队。张文偕根据他们的经历和表现，采取不同方法，将其中的少数编入游击队的基本队，其余编为收编队。这样，不仅保持了游击队的纯洁性，而且也建立了抗日武装统一战线，使参加联席会议的各抗日部队都感到满意。抗日民族统一战线的加强，武装斗争的胜利，极大地鼓舞了饶河地区人民的抗日斗志，他们纷纷参加游击队和反日会。在这次大会上，收编了二百来人加入游击队，使饶河反日游击队的武装力量得到了很大的发展，为在饶河一带建立根据地打下了基础，打开了新的斗争局面。联席会议后，张文偕和崔石泉率游击队与收编队转战到虎林。到虎林后，张文偕和崔石泉等决定率领游击队和山林队联合部队分三路攻打虎林（今属饶河）三人班。7月20日，张文偕和崔石泉率一百多名游击队员，冒着大雨，沿着山间小路隐蔽行军从炮手营到了三人班附近的会合地点。但是，由于其余两路收编队未能按时赶到会合地点，不能按原计划立即组织攻打，游击队只好在三人班北山宿营。