1924年初，第一次国共合作正式形成。在中国共产党人建议下，国民党一大决定创办一所陆军军官学校——黄埔军校。安徽党组织根据中共中央指示，选派彭干臣、许继慎、傅维钰等人经上海赴广州报考黄埔军校，彭干臣被录取入黄埔军校第一期。他学的是步兵科，被编在第二队。从此，开始了他的军事生涯。在黄埔军校中，他如饥似渴地勤奋学习政治理论，刻苦钻研军事技术，守纪律、令行禁止，成为第二队中的佼佼者。他寄信给家乡，鼓励同乡青年参军，为打倒帝国主义，打倒军阀献身。在李次山的资助下，他和傅维钰介绍英山籍有志青年考进黄埔军校一期的就有35人。彭干臣以优异成绩在军校毕业。由于品学兼优，被留校在教导团第一团任某连党代表，陈赓和他在同一连，任连长。1924年11月，周恩来就任黄埔军校政治部主任，在校内建立了第一个党支部。彭干臣和陈赓、许继慎都是黄埔特别支部成员。他参加周恩来指导的青年军人联合会的活动，同国民党右派组织的孙文主义学会进行坚决斗争。1925年1月，军阀陈炯明乘孙中山北上与段祺瑞、冯玉祥讨论国事之机，率部进攻广州，企图推翻孙中山创建的广州革命政府。广州革命政府组织东征军讨伐陈炯明。黄埔军校组建以共产党员、共青团员为骨干的学生军3000人，参加右路作战，并担任先锋。彭干臣根据党的指示，参加了这次东征。在战斗中身先士卒，英勇善战。在进攻淡水城时，苏联顾问建议组织奋勇队(即敢死队)爬城。彭干臣和张际春等10位军官及100名士兵参加了敢死队，分成几个攻击组爬城。彭干臣率领的敢死队在爬城搏斗时虽伤亡过半，但经浴血奋战，在猛烈的炮火掩护下，终于率先登城进入城内，乘胜与敌人展开巷战。此战，共计俘敌2000余名，缴获枪支1000余支，残敌狠狈逃窜。淡水之战奠定了东征胜利的基础。彭干臣因战功显赫，升任营党代表。陈炯明不甘心失败，纠集重兵，寻求决战。彭干臣所在第一团与敌主力一部遭遇，彭干臣率队杀向敌阵，以白刃格斗阻击敌人攻势。这时，周恩来下令调整炮位，对准敌人指挥部轰击，当场击毙敌指挥官。粤军第二师参谋长叶剑英率一队从敌后发起总攻，协同消灭敌人。随后，彭干臣率部黑夜急行军，拂晓迂回到敌人后方——五华，突然袭击，一举击溃敌人。在这次战斗中，彭干臣被敌人子弹打断了一个左手小拇指，同窗好友濮清泉曾为他惋惜，他却笑着说：“革命诚艰巨，断指不足惜，留得头颅在，可为党效力”。随后，他被晋升为团长。

但就在军校教导一团取得大捷之际，彭干臣却遭到蒋介石的无理打击。1925年3月16日，蒋介石要周恩来起草一个命令：“第一团连党代表文志文、彭干臣、副连长杜心树等，临阵退却，褫职查办。”周恩来感到事有蹊跷，便调查了解真实情况。3月28日，由军法审查委员会具名给蒋介石送去一份报告：“和顺五华之役，文志文、彭干臣等迭著战功，因退后收容，误为临阵潜逃，拟恳宽赦其罪，赐予复职”。在事实面前，蒋介石只能免除了对他们的处分。这时，中共中央决定派遣一批优秀的、具有军事才能的共产党员去莫斯科东方劳动者共产主义大学(即东方大学)学习，为了培养彭干臣，也是保护彭干臣，周恩来把彭干臣列入了去苏联学习的名单。

1925年6月，彭干臣来到上海，准备赴莫斯科东方大学。这时，五卅运动正处高潮，上海一片沸腾。彭干臣受党的指示，在上海短暂停留。他和中共党员、全国铁路总工会总干事王警东到吴淞机厂帮助工作。他们两人一到吴淞，根据政治环境的特点，决定先开办工人夜校，用合法形式团结、教育工人。彭干臣还到吴淞机厂附近工人住宿的农村进行宣传、讲演。彭干臣、王警东的努力工作，为吴淞机厂建立第一个党支部打下基础。

根据组织上原定计划，彭干臣结束了吴淞机厂的工作，1925年11月从上海乘轮船经海参崴来到莫斯科东方大学军事班学习。同班同学有从国内派去的张际春、徐作潮，有从旅欧支部派去的朱德、刘鼎、曾涌泉等七八十位同志。彭干臣学习认真，经常起三更睡深夜，刻苦钻研，下定决心把马克思主义学到手。当时学习内容分两部分。一是政治课，包括马克思列宁主义基本理论，政治常识，政治经济学，苏共党史，东西方革命史，辩证唯物主义。二是军事课，包括军事理论和军事技能训练。在讲授军事理论课时，由于翻译不懂军事，往往翻译得听不懂。朱德、彭干臣两位懂军事的同学给大家一解释，大家就领悟了，起了辅导作用。

正当彭干臣在东方大学学习紧张的时刻，1926年国共合作的北伐战争开始。北伐迫切需要军事干部，周恩来向中共中央建议，召回在莫斯科学习的中共党员，彭干臣应召提前结业回国。他被分配到国民革命军第四军叶挺独立团，任作战参谋。当时叶挺独立团已经进入湖南。彭干臣随团一路领先打进醴陵城，占领平江，乘胜攻入湖北境内。独立团奔袭粤汉路，彭干臣随团经一昼夜强行军，赶到蒲圻汀泗桥之间的中伙铺车站，切断岳阳敌军的退路，截歼军阀吴佩孚第一混成旅一个团，为北伐军进攻汀泗桥抢占有利阵地。汀泗桥三面环水，东面山岭筑有坚固工事，易守难攻，有“鄂南第一门户”之称。北伐军第四军以6个团兵力攻击一天，没有进展。彭干臣跟随叶挺团长，根据当地农民提供的线索，果断地率部沿山间小路迂回到敌人背后，突然从侧面袭击敌军纵深阵地，与正面友军配合，首先打进汀泗桥，乘胜打进咸宁城，取得北伐军一个团单独占领一个县城的重大胜利。随着向“鄂南第二门户”贺胜桥挺进。敌人布置重兵构筑三道防线，凭险固守贺胜桥。彭干臣吸取东征时攻打淡水城的经验，向叶挺团长建议，由中共党员组织敢死队率先突击。叶挺十分赞成这一建议。敢死队在彭干臣率领下，冒着敌人炮火奋勇冲杀，攻占设有炮兵阵地和指挥机构的印头山，乘胜捣毁敌人三道防线，率先打进贺胜桥。这样，独立团直逼武昌城下。蒋介石嫡系第一军刘峙的第二师致电叶挺，说他部已攻入城区，要独立团登城给以策应。彭干臣再次组织爬城敢死队，向武昌城发起攻击。他留下遗书、遗物，誓为北伐战争关键一战献身。而实际上，第一军第二师非但没有进入城区，连城墙也没接近。他们谎报军情，是想独立团为他们开道。结果独立团敢死队冒着敌人猛烈炮火，前仆后继，奋勇杀敌，但却无援军配合，使敢死队和后续梯队蒙受很大牺牲。第一次进攻未能奏效。在第二次进攻时，独立团在通湘门附近运用云梯爬城取得胜利，迅速抢占蛇山，为北伐军长驱直入武昌城作出贡献。叶挺独立团的英勇作战，使第四军获“铁军”的称誉。彭干臣在这次作战中腰部负伤，被人誉为“铁军中的铁将”。这时，叶挺独立团扩为第二十四师，镇守武昌，叶挺任师长兼武昌卫戍司令，彭干臣任卫戍司令部参谋长。

这时，中共中央为配合北伐军进攻上海，推翻北洋军阀在上海的统治，决定发动上海工人举行武装起义。彭干臣又被调赴上海参加起义的军事指挥。彭干臣化名何樾，被安排参加南市区起义指挥部。在南市区起义指挥部里，他遇到安徽同乡，当时任沪宁、沪杭甬两铁路罢工委员会总指挥兼铁路工人纠察大队长孙津川。孙津川率领一部分铁路工人参加南市区的武装起义工作。彭干臣和孙津川一起找到英山同乡李次山筹集一批经费，提供给总指挥部购买军火之用。1927年3月21日中午12点正，上海总工会一声令下，上海80万工人开始了总同盟罢工。根据起义命令，随即举行武装起义。下午1时许，华商电气公司、法商电车电灯自来水公司、求新造船厂的纠察队员，以及孙津川率领的一支铁路工人队伍聚集到了预定集合点。彭干臣等指挥纠察队员分头攻打淞沪警察厅、南市警察分署、江南造船厂、高昌庙兵工厂。经过训练的纠察队员，服从命令听指挥，个个英勇机智，用有限的武器缴获敌人的武器武装自己，并对敌人开展政治喊话。有的警察、直鲁联军看见冲进来的武装工人吓得魂不附体，连喊：“革命军饶命”。工人纠察队先后攻占各进攻目标，敌人士兵、警察全部被缴械。下午5时半，南市区起义首先胜利，指挥部立即派出武装队伍参加军阀兵力较强的闸北区会战。3月22日下午6时，上海工人纠察队占领军阀最后一个据点——北火车站。上海工人第三次武装起义取得辉煌胜利。上海特别市市民政府也于同日成立。这是中国革命史上光辉的一页，也是世界工人阶级武装起义史上有数的成功记录之一。彭干臣为此做出了自己的贡献。

正在人民欢庆胜利之际，蒋介石磨刀霍霍，发动了四一二反革命政变，大批屠杀共产党人和革命志士。汪精卫也于7月15日背叛革命，宁汉合流，第一次国共合作告终，轰轰烈烈的大革命夭折，生气勃勃的中国大地陷入腥风血雨之中。

1927年7月中旬，中共中央决定在南昌举行武装起义，并成立由周恩来等组成的中共前敌委员会。这时，彭干臣根据党的指示，潜抵南昌，参加起义的具体组织工作。8月1日起义爆发后，彭干臣根据周恩来的指示，率领所部迅速占领国民党公安局及其哨所，并被任命为南昌市公安局长。他随即将原公安局的警官、警员和消防队员进行整编，重新配备了公安局的武装。8月2日，彭干臣兼任了南昌市卫戍司令。8月3日起，起义部队根据原定南下广东重建革命根据地的计划，开始分批撤离南昌，彭干臣负责撤离的殿后工作。他在做好社会治安，保卫革命委员会和前敌委员会的同时，积极组织指挥军警公安人员的撤离工作。8月4日，他把原公安系统的第一、第二两个保安队和消防队集合起来，又同新吸收的青壮年警士二三百人混合编成几个连配发枪支弹药，第二天一早随贺龙的警卫团出发南征。彭干臣随部队南征，沿途经临川、宜黄、广昌、宁都、石城、会昌，9月又随军进军广东，沿韩江直下三河坝，进驻汕头。

根据党的指示，彭干臣于1927年底转辗潜回上海，又一次隐蔽在同乡、时任上海律师公会会长李次山家中。李次山将自己收养的义女，一位革命者的遗孤江鲜云介绍给彭干臣。两人于1928年秋成婚。这时，原黄埔军校一位同学、安徽同乡奉蒋介石之命来到上海，辗转找上门来，拜访彭干臣。说蒋校长认为彭是一个人才。知道彭干臣在上海生活步履艰难，希望彭能回到校长身边去，将委以重任。彭干臣听罢此言拍案而起，怒斥来人，使来人十分吃惊，悻悻而去。彭干臣不为高官厚禄动心，对党的事业必胜的信念和赤诚之心，可见一斑。彭干臣千方百计找到周恩来后，向周恩来汇报蒋介石派人向他诱降这件事，周恩来非常赞许他的坚定意志。1929年5月，中共中央政治局决定在上海举办高级军政干部训练班，培训红军急需的军事干部和政工干部，由中央政治局常委周恩来和中央军事部长杨殷领导，日常行政工作任务就落到彭干臣身上。训练班每期二三十人，为期3个月，共办了3期。学员结业后，大部分被派到苏区担任各级领导。蔡申熙夫妇、孙一中、许光达、黄春圃(江华)，都在这里学习过。许光达、孙一中在训练班结业后，由中央军事部和中央组织部派到洪湖苏区工作。1929年8月24日，发生了彭湃、杨殷、颜昌颐、邢士贞由于叛徒告密，被捕遭杀害的事。8月27日，中央政治局会议决定，由周恩来兼任军委书记、军事部长、并增补彭干臣、李超时、李硕勋为军委委员。当时参加军政训练班的工作的还有吴学宏、李宗超、刘叔琴(女)等。彭干臣肩上的担子更重了。

1930年5月，军政干部训练班刚结束，中央军委又决定彭干臣担任中共满洲省委军委书记，组织东北地区的军事斗争。他挈妻携女去了奉天(今沈阳)。9月，东北党组织因叛徒出卖，遭到破坏，敌特追捕彭干臣。彭干臣甩掉暗探跟踪，奔波了一个多月，潜回上海。一个月后，地下交通才将他的妻女送回上海。同年12月，中央军委又派彭干臣任中共顺直省委军委书记，去了天津。因叛徒出卖，中共顺直省委遭到大破坏，中央军委决定他迅速返回上海。这时在上海也发生中央特科负责人之一顾顺章被捕叛变，供出中共中央领导人在上海的情况。两个月后，又发生中共中央总书记向忠发被捕叛变的严重事件。虽然这两次事件都由于情报人员及时报警，周恩来等采取果断措施，避免了一场大灾难，但中共中央机关的活动面临严峻局面。根据中央决定，1931年12月，周恩来离开上海去中央苏区瑞金，彭干臣也随即告别妻子和年幼的孩子去了赣东北苏区。

1932年春，彭干臣到达闽浙赣苏区，任红十军参谋处长。1933年，彭干臣改任彭(湃)杨(殷)陆军学校教育长、校长。军校设在赣东北横峰县葛源镇。军校学员由红军部队和地方党组织选派，每期6个月，每期训练100余名学员。彭干臣曾把自己名字最后一个“臣”字改为“成”，意思是：党叫干的工作立志干成功。彭杨军校为赣东北红军培养了几百名军事骨干。正当他为培养红军干部大展才智之时，党内“肃反”扩大化寒流袭来。执行王明“左”倾路线的“中央代表”，对在白区工作过的知识分子出身的干部处处怀疑，彭干臣成了“理所当然的肃反对象”。彭干臣虽被囚禁，但信仰如初，相信乌云终有一天会散去。他担心的倒是由于“左”倾冒险主义的错误指挥，第五次反“围剿”斗争屡遭挫折，闽浙赣地区形势越来越险恶了。1934年10月，中共中央指示红七军团与红十军团、闽浙赣游击队合组编成新红十军团，成立以方志敏为主席的军政委员会，分两路北上开展抗日民主运动，发展游击战争，建立苏维埃根据地。方志敏果断地启用彭干臣等在“肃反”扩大化中受迫害的干部。这样，彭干臣得以随方志敏率领的红十军团踏上抗日征途。12月中旬，红十军团到达潭家浜一带，遭到7倍于己的敌军围攻，彭干臣紧随方志敏指挥部队英勇反击，打垮敌人一次又一次进攻。但终因敌众我寡，红军指战员伤亡惨重，1935年1月中旬，红十军团艰苦征战，冲破敌人道道围堵，迂回到上饶、德兴间怀玉山地区，不幸陷入了敌人重围。时值隆冬，寡不敌众，弹尽粮绝，除200多人突出重围，彭干臣和万名指战员壮烈牺牲，方志敏等被俘后遭杀害。