由于潘心元积极从事反帝爱国斗争和工农运动，1924年下学期，学校当局以“不务正业”为名，将他除名。中共湘区委决定，让潘心元回浏阳，开展工农群众运动，发展党的组织。

做发动农民的工作，潘心元首先从自家的长工、佃户做起。他给一些佃户开出一些借据和收条，要他们拿着这些借据和收条，到他母亲那里去抵租，以减轻这些佃户的负担。他还帮助佃户聂本善，同他岳父周珥卿的退佃进行斗争。直气得他岳父大吼：“你再不要上我的门!”他也寸步不让：“你的门不干净，请我也不来!”他与农民站在一起，维护他们的利益。穷苦农民从他的正义之举中，看到他是关心穷人的，同他开始有了共同的语言，团结在他周围，与他一起斗争。

在发动群众的同时，他注意物色培养积极分子，发展党的组织。他于1924年冬在浏阳北乡，先后发展了小学教师郭起、农民赵金贵等十几个人入党，于1925年清明节组建了浏阳农村党支部。5月，又建立了乌龙乡农民协会。到1926年10月，浏阳党的基层组织有了一定的发展，在此基础上，召开了全县党员代表大会，建立了中共浏阳地方执行委员会，潘心元当选为书记。

中共浏阳县地方执委会建立后，潘心元以主要精力领导工农群众，坚决打击地主豪绅的反动武装。当时，在金县各区乡团防局的团丁达千余人，有六七百手枪，老百姓称它们叫“乡军阀”。这些恶势力横行乡间，轻则派粮加捐，重则抓人杀人，是发展工农运动的主要障碍。1927年2月，他与罗纳川商定，以国民党县党部的名义，邀请各界代表和各团总来县城开会，宣布各团防局枪支一律交县农民协会接管，并当场逮捕了不肯交枪的普迹团总张梅村，处决了企图叛乱的县警备队长唐秉忠，并将支持叛乱的县长送交省民政厅处理。浏阳工农武装建立之后，被命名为浏阳工农义勇队，由潘心元兼任党代表。后来，这支队伍成为湘赣秋收起义的主力之一。

四一二反革命政变之后，潘心元作为湖南九名代表之一，赴武昌参加了中共五大。会议期间，他给主持县执委工作的同志写了一封信，要求县地方执委不管遇到什么情况，都必须加强武装斗争，不断扩大武装力量，要力争“在很短的时间内，成立一个师，搞三千支枪。”返回浏阳后，他全力抓武装建设，一面加紧工农义勇队的训练，一面派干部到四乡发展和组建农民自卫军。

长沙马日事变后，按照中共湖南临时省委的决定，他立即着手布置农军攻打长沙，在全县进行总动员。他在永安镇设立前线作战指挥部。在指挥部的军事会议上，他下达进攻命令，将农军分成两路纵队，于1927年5月31日会攻长沙。由于陈独秀的右倾投降主义，农军进至长沙小吴门附近，又奉命撤回浏阳。

南昌起义前夕，潘心元按照党中央的部署，将浏阳工农义勇队与平江工农义勇队集合，前往江西九江，准备编入贺龙的国民革命军第二十军。但他率队沿修水河东下，1927年8月6日到达修水县城时，才得知南昌起义部队已南下广东。在追赶南昌起义部队中，潘心元部于奉新县与卢德铭率领的武汉国民政府警卫团会合。在双方的联席会议上，他否定了继续南下的主张，率部回到修水。然后，他去安源寻找湖南省委，部队折回铜鼓待命。

1927年8月31日，潘心元在安源见到了毛泽东，并参加毛泽东在安源张家湾主持召开的军事负责人会议。会议作了1927年9月9日起义的部署，浏阳工农义勇队被编为工农革命军第一军第一师第三团，由潘心元任党代表，苏先骏任团长。会后，他和毛泽东同赴铜鼓，直接指挥第三团的战斗，途中，在浏阳七溪坳与十来个团丁相遇。为了掩护毛泽东，他走上前去说明他们是“布商”，然后故意抖落随身携带的银元。乘敌人抢捡银元之际，他要毛泽东立即走开，而自己单独往大路走去，有意把团丁引向自己方向，结果被捉住。在押解县城途中，借机逃脱。

1927年9月9日，湘赣边界秋收起义爆发。第二团攻克浏阳后被围。他突出重围后曾到文家市找毛泽东，但毛泽东已率部沿湘赣南下。他重去安源，再返平浏醴开展游击战争。

1927年冬，潘心元率人在浏阳篙山上，建立浏北游击队，并与从平江来的浏醴平特委书记夏明翰一起，制定了夺取北盛团防局的计划。

砰山团总欧阳益生庆祝50岁生日那天，潘心元带领游击队以送礼的为名，混进大院，镇压了这个作恶多端的团总，夺走了全部枪支。

潘心元的广泛活动，震动了反动当局，县长四处张贴告示，悬赏捉拿他：“通缉共产党匪首潘心元一名，有捕捉或献首级者，赏大洋一千五百元。”潘心元看到后，在通缉令上用毛笔一改，变作：“捉到县长谭鼎或献来首级者，赏大铜板一枚”。回来后他对游击队员说：“本来一文不值，要是人家送来了，就给个铜板作纪念吧。”逗得众人捧腹大笑。

经过一段时间的斗争，浏阳游击战争局面逐步打开。1928年1月，浏阳划归湘东特委领导，代远任特委书记，潘心元任副书记。

1927年7月22日，平江起义爆发。潘心元带领游击队有力地支援了这次起义，以后还将收集到的子弹送给红五军第二纵队，配合二纵队在浏阳歼灭了一批“挨户团”，镇压了一些土豪劣绅，很多地方建立了区、乡苏维埃政权，开展了土地革命，使浏阳成为湘鄂赣边区工作最活跃的地方。这年冬，他被增选为湖南省委委员，担任省委农民部长。

这时，潘心元根据游击战争的特点，初步概括出几条原则：“彼集我散，彼散我集，昼伏夜出，化整为零，只要会打圈，不要会打仗。”

1929年4月，党中央通知潘心元去苏联学习。得到通知，他满心高兴。他到达武汉后，得知中苏边界已被封锁，只得换船改去上海。他在上海暂停的时间，写下了《秋收起义前后浏醴平的革命斗争》的报告给党中央。在党中央工作一段时间后，他以中央巡视员身份，前往湘赣红军部队传达党的六大决议。他用彭清泉的化名，沿途参加过赣西特委召开的各县党的负责人联席会议；到红五军军部与彭德怀商谈建立红六军的有关事宜。在湘赣边界，他还召开了军队和地方党的联席会议，传达党的六大决议。

1930年2月7日，在毛泽东召开的红四军前委、红五军、六军军委、赣西特委联席会议上，潘心元当选为总前委常委。当时，因红三军政委蔡会文未到职，由潘心元代理。红三军军长黄公略在欢迎会上向三军干部介绍潘心元时，特意说：“这就是我常讲的，用竹篮子给我送子弹的人。”

1930年6月，在李立三“左”倾盲动主义的指导下，红军决定攻打长沙。潘心元与黄公略率红三军编入红一军团，从万载进入湖南后，先在文家市歼敌戴斗垣旅，缴获枪支数千，轻重机枪30余挺，子弹数万发。为配合红三军团攻打长沙，红三军与浏阳、醴陵赤卫总队协同作战，曾三次打下浏阳县城。红一军团与红三军团会师合编为红一方面军时，潘心元调任红四军政委，并当选为红一方面军前委委员、中国革命军事委员会委员。

8月底，红一方面军回师入赣，潘心元离开部队，仍到湘鄂赣苏区以中央巡视员身份指导工作。

1930年11月下旬，潘心元来到玉环苔山村，了解红二团（师）海上游击大队整训情况。

12月初，潘心元从苔山村乘坐船只去温州开会。因为叛徒告密，潘心元刚上船，还没站稳脚跟，就被假扮成渔民的国民党浙江保安四团水警队抓获。在没有任何审问的情况下，水警队在芦浦分水山麓的“九眼江”滩涂上，将潘心元“就地枪决”。

渔民冒着风险，运回了潘心元的遗体。第二天，红十三军在苔山村举行了简朴而隆重的追悼会，几百名当地群众自发前来送行。