1925年10月，以铁甲车队为基础，组建该军第十二师三十四团（北伐前夕改称第四军独立团），廖乾五升任第十二师政治部主任少将。并与罗振声、邝鄘、共同编写《国民革命歌》（又名《打倒列强》）在这场反帝反封建打倒北洋军阀的革命中，成为一首妇孺皆知的革命歌谣，在廖乾五主持下与众多优秀的革命歌曲编订成册于中华民国十五年三月印刷发行成为首本国民革命军歌集。

1926年任第4军党代表兼政治部代主任、主任，率部参加北伐战争，转战湘、鄂、赣、豫诸省，参与指挥攻占平江、汀泗桥、贺胜桥、武昌、马回岭、九江等战斗。

1927年，蒋介石发动“四·一二”反革命政变，引起廖乾五的极大愤慨。4月15日，廖乾五、张发奎等主持召开国民党第四军各级党部执监委员会议。一致决议，“本军全体同志，誓为先锋”，讨伐蒋介石。5月，张发奎、廖乾五督率第一纵队，以伤亡1万余人的巨大代价，经过上蔡、临颖战役，击溃奉军在河南的主力，为东出潼关的冯玉祥部占领郑州、开封铺平了道路。1927年7月下旬奉命赴九江参加武装起义准备工作，不久参加南昌起义，协助叶挺指挥部队行动。起义后任革命委员会总政治部秘书长、宣传委员会委员，第20军党代表。

1928年春，中共中央派廖乾五到北方工作。他到北平后，立即受到国民党特务的注意和跟踪，被迫一日数迁，无法开展工作。后来，在高文灏（又名高幼湘，廖乾五在武汉时教过的学生，时在北平上大学）的资助和掩护下，化妆秘密离开北平，到密云县暂时隐藏。当时密云县城驻扎着军阀的部队，兵多百姓少，无法活动立足，只好辗转仍回上海，在中央军委工作。

1929年中共中央又派廖乾五到中共湖南省委从事地下工作。1930年，担任中共湖南省委军委书记，负责对敌的兵运工作。任职不久，即不幸被国民党湖南当局秘密逮捕，作为“要犯”羁押入狱。

1930年9月3日，在长沙市郊被秘密杀害，时年44岁。

廖乾五一向重视工农运动。他在陕南山区长大，参加革命后即投身工人运动，对农工的疾苦有深切的体验。早在武装支援广宁农民运动期间，他就同“农民大王”彭湃提出过“武装农民”的建议，并同彭湃把缴获的千余件武器及弹药用于武装农民自卫军。在中国共产党内，他俩是“武装农民”比较早的提出者和实践者。北伐前夕，国民革命军总政治部主任邓演达召开了一次政治工作会议。会上，廖乾五力主趁北伐加紧农民运动工作，发动农民支持北伐战争。

廖乾五加强第四军的政治工作，还积极组织四军官兵参加反帝示威游行、军民联欢会等社会活动。1927年1月15日，廖乾五主持召开第四军追悼大会，武汉各界人民为感谢和表彰第四军在北伐战争中屡战屡胜的卓著功勋，特地制造一面刻有“铁军”两个红字的铁质盾牌，背面写着“烈士之血，主义之花，四军伟绩，威振迩遐。能守纪律，能毋怠夸，能爱百姓，能救国家。摧锋陷阵，如铁如坚，革命担负，如铁之肩。功用若铁，人民倚焉，愿寿如铁，垂亿万年。”敲锣打鼓送往会场。陈可钰、廖乾五接受了这件有特殊意义的赠礼。从此，“铁军”的威名传遍天南海北。

廖乾五在抓紧四军政治工作的同时，还承担总政治部交办的其它工作。收复武昌以后，总政治部副主任郭沫若先后主持召开两次政治工作会议，确定廖乾五任固定标语委员会、政治教材计划委员会、政治组织计划起草委员会委员。邓演达还聘任廖乾五为总政治部宣传员训练队政治教官，由廖乾五讲授《军队中政治工作》、《妇女运动》。

廖乾五1922年加入中国共产党，历任中共汉口地委委员，“建国陆海军大元帅府铁甲车队”党代表，国民革命军第4军政治部主任、党代表，革命委员会宣传委员会委员，总政治部秘书长，20军党代表，中共湖南省军委书记。为建立巩固广东革命根据地，为北伐战争和南昌起义的胜利做出了重大贡献，是中国无产阶级革命家、军事家，中国共产党早期优秀党员，人民军队创建初期的高级政治工作干部。

廖乾五牺牲时未留下任何后代，他的一生，文能提笔安天下，武能上马定乾坤。1997年，中共中央办公厅、国务院办公厅批准，在平利县中学塑建廖乾五纪念像。在陕西省平利县烈士陵园，也矗立着一座廖乾五的雕像，昭彰着他的丰功伟绩，供后人瞻仰和缅怀，纪念他为中国革命做出的伟大贡献。