1925年4月，在武昌启黄中学加入中国共产党。“五卅”惨案后，他受命回乡开展农民运动。1926年春，他通过户族关系在尖山吴氏祠堂创办小学。 1928年5月，任中共尖山支部书记。1932年冬，吴仁甫受组织派遣去泌阳马谷田做收编土匪的工作，被黄岗银山寨民团当作土匪投至桐柏监狱，后由组织营救出狱。

1935年11月前后，鄂豫边省委宣传委员来尖山检查工作，认为这里群众基础好，遂将省委迁于此。省委多次在吴仁甫家开会，研究游击队的筹建工作。 1936年1月，吴仁甫加入鄂豫边红军游击队，负责根据地的群众工作。同年3月，游击队在确山西北之杜庄遭遂平县国民党保安队包围，吴仁甫等10余名队员被捕。

1937年11月，吴仁甫获释回到尖山，先后任中共尖山区委书记、副书记、青宣部长等职。他积极宣传党的抗日民族统一战线政策，对广大群众开展抗日救国的教育，发展壮大革命力量，为尖山根据地的扩展和巩固作出了重大贡献。