1917～1922年，先后在平安城镇“隆聚兴”和遵化城一家杂货店学徒。1923年经人介绍进入教育界，逐渐结识了中国共产党地下工作者，在党组织的引导与革命真理的启迪下，1928年初加入了中国共产党。1929年参与领导城子等地的农民群众运动。1938年7月，耿玉辉带领农民队伍宣布起义，任冀东抗日联军第十八总队大队长，后任抗日联军第五总队三大队大队长，曾在河北遵化县（今属蓟县）果河将伪治安军第二集团军所属第四团击败，将敌人全部歼灭。不久奉调到萧克组建的平西挺进军司令部任参谋。1939年十一月返回冀东解放区，任新组建的第七总队长。1940年8月，八路军冀东军区第十三团成立，任该团三营营长，在团长包森的指挥下，多次打击日伪冀东治安军。1942年7月，先后任丰（润）玉（田）遵（化）联合县县长、中共县委书记、游击总队队长、地区武装部部长、中共冀东特委委员等领导职务。1943年1月4日到藏山庄，向抗日区长耿玉章布置工作，听取汇报。翌日凌晨，由于叛徒告密,被敌人围击，壮烈牺牲。