1934年1月，红军总司令部兼第一方面军司令部撤回瑞金，并入中革军委总司令部，下设6个局。

1935年1月遵义会议后，总司令部第五局撤销。6月，第一、第四方面军在四川懋功（今小金）会师。8月，第一、第四方面军会合后混合编组，总司令部机关与第四方面军司令部部分干部组成红军总司令部，由总参谋长刘伯承率领，随左路军；总司令部部分人员由副总参谋长张云逸率领，随右路军。红军组成前敌总指挥部，随右路军行动，叶剑英任参谋长。9月上旬，由于红军总政委张国焘拒绝执行中共中央北上抗日的战略方针，率左路军和右路军一部南下，造成红军领导机关暂时的分裂局面。北上红军短时编为陕甘支队，其司令部辖5个科，叶剑英任参谋长。11月3日，中共中央决定以中华苏维埃共和国中央政府名义命令成立中华苏维埃西北革命军事委员会（简称西北军委），设参谋部，辖4个局，叶剑英任参谋长。

1936年10月，第一、第二、第四方面军在陕甘苏区会师。12月，红军总司令部并入西北军委参谋部，改称中革军委总司令部，辖4个局，第一局负责作战，第二局负责情报，第三局负责通信，第四局负责队列，刘伯承任总参谋长。1937年春，中革军委决定成立后方司令部，指挥管理军委直属机关、直属兵团和苏区地方部队，萧劲光任参谋长，又称军委参谋长。这一时期，军委参谋机构具体组织指导了红军创建、粉碎国民党军“围剿”和实行战略转移等。其间，军委参谋机构基本上是部、局、科三级领导体制。

1937年7月，抗日战争全面爆发，国共两党实现了合作抗日。为适应新的形势和任务，中革军委总司令部于7月改称中革军委参谋部。8月，中共中央政治局扩大会议决定组成中共中央革命军事委员会（简称中央军委），中革军委参谋部即改称中央军委参谋部，萧劲光任军委参谋长。军委参谋部设部长，聂鹤亭任参谋部部长，归军委参谋长直接领导。参谋部主要辖4个局。

1938年1月，滕代远任军委参谋长。1939年11月，陈奇涵任参谋部部长。1940年3月，王若飞任军委参谋长。

1941年1月，许光达任参谋部部长。2月，叶剑英任军委参谋长。9月，军委参谋部一部分职能划归中央情报部后称军委作战部（仍属参谋部性质，有时仍沿用军委参谋部称谓），军委参谋长叶剑英兼部长。

1945年8月，中共中央决定将中共中央革命军事委员会改称中共中央军事委员会（仍简称中央军委），并恢复总参谋长名称，中央军委副主席彭德怀兼总参谋长，叶剑英任副总参谋长。这一时期，军委参谋机构在中共中央和中央军委领导下，指导开展敌后抗日游击战争和进行抗日根据地军事建设等，为抗日战争的胜利作出了重大贡献。其间，为适应工作需要，军委作战部于1941年起调整充实了各局的组织机构，增设处，形成部、局、处、科四级领导体制。1945年9月，为贯彻执行中共中央的战略方针，军委作战部大批干部到东北或其他战区开展工作，组织机构作了相应调整。从1945年10月起，李涛先后任军委作战部代部长、部长。1946年6月下旬，国民党军对中原解放区发动大规模进攻，全国解放战争正式开始。

1947年3月，中共中央和中央军委机关撤离延安。军委作战部大部分人员转移到山西省临县三交镇，在中共中央后方委员会（简称中央后委）领导下工作；部分人员随中共中央、中央军委领导人转战陕北；少数人员随中共中央工作委员会（简称中央工委）在河北省平山县西柏坡工作。8月，中共中央发出通知，周恩来代理军委总参谋长，副总参谋长仍为叶剑英。1948年4月，中央军委机关在西柏坡会合。11月，中共中央决定，中央军委对外公开发布命令时，使用“中国人民革命军事委员会”的名称。

1949年3月，军委作战部进驻北平（北京），并增设航空局。6月，中央军委任命聂荣臻为副总参谋长。这一时期，军委作战部在彭德怀、周恩来、叶剑英、聂荣臻等领导下，根据中央军委的战略方针和指示，完成了繁重的编制各种军事统计、汇总战绩并起草公报、介绍作战经验、整理军战史、收集并通报敌情、组织通信保障和军事训练、起草文电等工作。其间，军委作战部人员逐步充实，分工渐趋细密，组织机构仍大体上维持四级（部、局、处、科）领导体制。1949年10月1日，中华人民共和国建立。10月19日，中央人民政府任命徐向前为人民革命军事委员会总参谋部（简称军委总参谋部）总参谋长（11月起由聂荣臻代）。军委总参谋部当时的实体为军委作战部和随后成立的军委情报部、军委气象局。1950年起，军委总参谋部的组织机构逐步调整充实，相继成立若干新的部、局。到1952年，辖作战部、情报部、技术部、联络部、通信部、军训部、军务部、人民武装部、军事运输司令部和测绘局、出版局、气象局等。

1954年10月，中央人民政府人民革命军事委员会总参谋部改称中国人民解放军总参谋部，为中国共产党中央军事委员会（简称中央军委，1982年后与新设立的中华人民共和国中央军事委员会为同一机构）的军事工作机关。为加强对军队革命化现代化正规化建设的领导，总参谋部先后进行了多次调整充实，增设了机要、外事和管理等部门。1958年中央军委扩大会议规定，总参谋部是中央军委统率全军的军事工作机关，其职责是：“在中央军委领导下，负责组织计划军队的编制、装备、训练、兵役、动员、战场准备、工程建设、作战指挥、行政管理、后备力量建设等方面，并负责组织各部门的协同，调解和解决军事工作中共同有关的各项问题。”中共十一届三中全会后，随着党和国家工作重点的转移，总参谋部的体制编制陆续进行了调整、改革。

1982年9月，为适应军队现代化建设和诸军种、兵种合同作战的需要，加强对兵种部队的集中统一领导，中央军委命令，将炮兵、装甲兵、工程兵等兵种的领导机关缩编为总参谋部的业务部门。此后，总参谋部经过1985年、1997年和2003年的精简、调整、改革，组织机构进一步健全，指挥效能显著提高。至2004年底，总参谋部下设办公厅、作战部、情报部、三部、通信部、军训和兵种部、军务部、动员部、电子对抗部、陆航部、政治部、外事办公室、管理保障部、警卫局等。

2011年5月，通信部改编为信息化部。7月，军委决定成立中国人民解放军战略规划部，隶属总参谋部。11月，以军训和兵种部为基础调整为军训部。这一时期，总参谋部坚持党对军队绝对领导的原则，贯彻落实中央军委战略方针和各项指示，有力地完成了组织指挥军事建设和军事行动的任务。其间，先后任中国人民解放军总参谋长的有：徐向前、聂荣臻（代）、粟裕、黄克诚、罗瑞卿、杨成武（代）、黄永胜、邓小平（兼）、杨得志、迟浩田、张万年、傅全有、梁光烈、陈炳德、房峰辉。

2016年1月，按照军委管总、战区主战、军种主建的总原则，将总部制改为多部门制，总参谋部改编为军委联合参谋部。

根据1958年军委扩大会议的规定，总参谋部作为中央军委统帅全军的军事工作机关，其职责是：在中央军委领导下，负责组织计划军队的编制、装备、训练、兵役、动员、战场准备、工程建设、作战指挥、行政管理、后备力量建设等方面，并负责组织各部门的协同，调节和解决军事工作中共同有关的各项问题。此后，随着国防建设的发展，总参谋部经过整顿、精简、调整，组织机构进一步健全完善，并不断加强指挥手段建设，进一步提高了组织指挥效能。

在革命战争年代，先后担任总参谋长的有叶剑英、刘伯承、肖劲光、滕代远、彭德怀、周恩来。

中华人民共和国成立后的历任总参谋长有徐向前、聂荣臻(代)、粟裕、黄克诚、罗瑞卿、杨成武(代)、黄永胜、邓小平(兼)、杨得志、迟浩田、张万年、傅全有、梁光烈、陈炳德、房峰辉（2018年1月，因涉嫌行贿、受贿犯罪，被移送军事检察机关依法处理。）