1928年1月率耒阳游击队参加湘南起义，配合朱德领导的工农革命军第一师攻克耒阳县城。朱德等率起义部队上井冈山后，伍坚持原地斗争，后失败。同年夏入国民党部队从事兵运工作。

1929年底辗转到上海，找到党组织。

1930年春到上海中共中央中央机关无线电训练班学习。

1931年1月，调到中央苏区创建无线电通讯部队,带领其他同志筹集器材，选调人员，白手起家，组建了中国工农红军无线电通讯大队,先后任政委、队长、无线电总队政委，成为红军无线电通讯事业的创始人。

1934年初任中革军委第三局政治委员。参加了中央革命根据地第二至第五次反“围剿”作战的通讯工作，参与领导了红军通信工作的建立和发展。

1934年10月参加中央红军长征。1935年7月担任中央军委第三局政治委员，同年冬奉命参加南下川康边。1936年春改任中央军委第二局政治委员。同年冬长征到达延安，改任中央军委直属第二政治处主任。

1935年红一、四方面军会师后，到左路军工作，同张国焘分裂主义进行了坚决的斗争,想尽一切办法,保障一、二、四方面军的无线电通讯联系,为二、四方面军与中央红军的胜利会师起了重要作用。

1937年初入红军大学第二期学习。

抗日战争爆发后，1937年8月25日，红军主力改编为八路军后在国统区设立的第一个公开、合法的办事机机构——“国民革命军第八路军驻陕办事处”（简称西安八路军办事处）在西安市七贤庄一号正式挂牌成立。在延安毛泽东同志点名由伍云甫同志出任第一任西安八路军办事处处长，与时任中共驻陕党代表林伯渠同志搭档，按照党的政策积极开展统一战线工作。

伍云甫同中共中央驻陕代表林伯渠出色地完成了联合各界人士发展抗日民族统一战线，招收输送进步青年到延安学习和将延安干部转送到全国各地，为抗日前线和陕甘宁边区采购、输送抗日物资等任务。在完成这些任务中，他带领办事处的同志，同国民党顽固派进行了一系列有理、有利、有节的斗争。红军西路军1500余人被青海马家军俘虏后编成“新兵团”送往河南补充国民党军，运兵车刚到西安，伍就去向大家传达党的关怀。在他和林伯渠的努力争取下，这批红军战士终于回到了抗日阵营。一个化名“马克志”的特务，冒充八路军干部，到处破坏抗日，诱骗奔往延安的爱国青年改变行进路线，被他派人在渭南抓获，押送延安公审后处决。

1941年秋回延安,先后任陕甘宁边区政府财政厅副厅长、银行副行长。

1942年春任中共中央军委秘书长，协助军委领导处理军委日常工作。

1943年7月调延安党校工作，任中共中央党校四部副主任兼支部书记。

1945年当选为党的七大代表。7月任解放区临时救济总会秘书长。

1946年1月，为执行“双十协定”，由周恩来和张群签署《建立军事调处执行部的协议》，由国、共、美三方在北平成立军调部，伍云甫出任共产党方面北平军事调处执行部行政处处长。

1946年任中国解放区救济总会秘书长兼党组书记，通过宋庆龄主持的保卫中国同盟和中国福利基金会，向爱国华侨、爱国团体、友好国家争取募集了大批药品和救济物资,有力地支援了解放战争。1946年5月，联总中国分署、行总从重庆迁来上海。同年8月，解总在上海设立办事处，伍云甫任处长。

11月5日，解总主任董必武与伍云甫等前往联总办事处，与艾格顿处长、联总黄河总工程师陶德商谈黄河堵口及复堤等问题。

1946年12月14日，解总代表伍云甫在周公馆举行中外记者招待会，通报解总工作情况及联总、行总救济事项。伍云甫谈到11月29日周恩来、董必武致联总署长拉伽第亚备忘录，要求联总在共同协议下，与解总直接合作，建立直接的关系和组织，以避免政治歧视、分配不公平及其他种种腐败现象，并提出解总应派代表参加12月在华盛顿召开的联总理事会会议的要求。伍云甫说最近联总复电，称对周、董提议已与联总中国代表商议，但不拟向理事会提出讨论。伍云甫告诉记者，12月13日周恩来、董必武为此再度致电联总，请考虑解总提案。

7月15日，周恩来偕中国解放区救济委员会秘书长伍云甫及黄河工程中共代表，与联总驻华分署代理署长毕范理、行总署长蒋廷黻等举行会谈，商讨中共解放区之救济工作及黄河堵口复堤事宜。

1947年1月5日，伍云甫在周公馆举行记者招待会，揭露国民党私自放水淹没解放区，含有重大军事阴谋。1月11日，董必武、伍云甫与联总、行总代表就黄河堵口问题举行谈判。

2月8日，联总副署长杰克逊抵沪，解总代表伍云甫及联总、行总代表前往机场迎接。伍云甫向杰克逊转达周恩来欢迎他访问延安的邀请。2月10日，董必武访晤杰克逊。2月22日，董必武、伍云甫出席联总艾格顿举办的宴会，并与联总、行总代表商谈救济机构业务、供应计划、汽车运输诸问题。

3月1日，伍云甫去周公馆向董必武汇报工作时，遭国民党军警特务阻拦。解总就此事向鲁克斯去电，要求立即恢复解总代表的行动自由。

1946年9月12日，伍云甫等会见了美国教会救济委员会罗伯特·亨利，交谈了解放区救济问题，欢迎他去解放区视察。

9月28日，周恩来、邓颖超与伍云甫等，一起宴请了美国联合救济会、国际救济委员会、美国教会救济委员会的工作人员。

1947年以后，伍云甫先后任北平军事调处执行部中共方面行政处处长、中共中央工作委员会秘书长兼中央机关党委副书记、中央办公厅行政处长兼直属机关党总支书记等职。很好地组织了党中央机关的行政管理工作。

1949年9月，作为特别邀请人士出席中国人民政治协商会议第一届全体会议。

新中国成立后，任中国人民救济总署秘书长兼党组书记、中国红十字会副会长兼党组书记、卫生部副部长和党组成员。他在社会救济福利工作中，认真清理和改造旧社会遗留的机关，正确贯彻执行党的统一战线政策，肃清帝国主义、封建主义、官僚资本主义的反动影响。在领导中国红十字会的工作中，按照“救死扶伤,实行革命的人道主义”的原则和党的外交政策,进行了国际救济、协助外国侨民回国、遣送战俘等工作，促进了中国人民同各国红十字会、各国人民的相互了解和友谊，加强了国际反帝统一战线。他先后出席了第十八、十九届国际红十字会会议，为恢复中国在国际红十字会的合法席位，对美国制造“两个中国”的阴谋进行了针锋相对的斗争。

伍云甫先后当选为第一届全国人大代表，第一届全国政协特邀代表，第三、四届全国政协委员。1962年当选为中央监察委员会候补常委。“文革”期间，他同林彪、“四人帮”进行了坚决斗争。遭受林彪、江青反革命集团的诬陷和迫害，1969年7月25日在北京含冤病逝，终年65岁。

1979年党中央为其平反昭雪，恢复名誉。他的临终遗言是：“不为名，不为利，不怕苦，不怕死,，一心为革命，一心为人民。”