1921年毕业于台南师范学校（今天的国立台南大学），在凤山公学校任教，研究列宁及孙中山的著作与学说。

1925年，辞去教职，组建凤山农民组合。简吉被推举为组合长，当时组合员80余人。简吉积极支援各地农民与日本殖民当局的争议，带领凤山农民组合反抗陈中和新兴制糖会社收夺仙农的土地，最终取得胜利，迫使陈中和新兴制糖会社同意延后7年收回凤山街的土地。凤山农民组合的反抗斗争对于深受日本殖民当局压迫的台湾农民的影响甚大。

1926年9月，与赵港、杨逵等创组“台湾农民组合”，该组合为台湾日据时期组织最为完整的农民运动团体。简吉任台湾农民组合任中央常务委员。

1927年2月，与赵港为台湾代表，出席日本农民组合第六回大会，并上京向众议院递交抗议书。在日本期间，他们拜访日本农组与劳农党，与日本左翼组织建立结盟关系，从日本农民运动中学到许多更加有效的斗争方法。返回台湾后，他们召集各农组支部学习日本农民运动的斗争经验，他们的专题演讲《日本农民运动》、《日本农民组合》使农组成员大开眼界。之后，简吉向日本劳动农民党提出派遣指导员常驻台湾的请求。5月4日，劳农党员古屋贞雄（律师）赴台湾，并到各地农村演讲，当月22日返回东京。应简吉邀请，7月4日古屋贞雄再赴台湾，在台中开办律师事务所，为农民争议案辩护，帮助和指导农民与日本殖民当局的斗争，为台湾农民运动的发展做出了贡献。7月22日，《台湾民报》发表简吉的文章《大同团结而奋斗》，字里行间，明显流露出阶级斗争的意识。12月4日，台湾农民组合第一次全岛大会在台中乐舞台戏院（台湾人开办的戏院）召开，与会者800余人。古屋贞雄作为台湾农民组合的顾问，专程从朝鲜（声援朝鲜农民运动）赶回台湾参加大会，日本农民组合中央委员长山上武雄亦从大阪赶赴台湾参加盛会。台湾文化协会领导人连温卿以顾问身份出席大会。日本劳动农民党本部、日本农民组合本部、日本农民组合大阪联合会、朝鲜新韩会、东京新韩支会、大阪朝鲜劳动组织、大阪劳动大会、日本交通劳动协会，及台湾各抗日团体等均发电文表示祝贺。此次大会声势浩大，得到了岛内外进步组织和团体的支持和响应，将台湾抗日运动推向高潮。大会上，简吉、赵港、谢神财等人当选为中央常任委员。