在革命战争年代，毛泽东就有“精兵”思想。他在抗日战争时期强调“下绝大决心实行彻底的精兵简政”（《毛泽东军事文集》第2卷，第684页），在解放战争前夕提出“兵贵精不贵多，仍是今后建军原则之一”（《毛泽东选集》第4卷，第1176页）。其间，他领导人民军队根据斗争形势的需要适时进行了精简和整顿。中华人民共和国成立后，作为建设强大国防和强大经济力量的措施之一，中共中央和毛泽东随即决定对人民解放军进行精简整编，指示“军队分批复员以减轻人民负担”（《毛泽东军事文集》第6卷，第78页），签发《关于部队集体转业的命令》，要求全军实行统一的制度、统一的编制，建设诸军种、兵种合成的正规化现代化国防部队。在这一思想指引下，从20世纪50年代初开始，中国人民解放军进行了多次精简整编。中华人民共和国成立之初，人民解放军总人数为550万人，步兵是军队的主体，陆军技术兵种部队数量很少，空军、海军几乎是空白。为适应现代战争的要求，中共中央军委决定压缩人民解放军的总规模，减少步兵，建立空军、海军，加强陆军技术兵种部队。1950年6月，全军参谋会议确定的精简整编方案规定，全军员额精简到400万。由于朝鲜战争爆发，精简整编工作中断。到1951年10月，全军总员额上升到611万。同年11月，朝鲜战场形势趋于稳定，中央军委决定军队继续进行精简整编，把全军总员额控制在300万人左右。1952年1月，毛泽东批准《军事整编计划》，确定在第一个五年计划期间分两期进行精简整编。到1955年底，全军实际员额为380万人。1957年1月，中央军委扩大会议通过《关于裁减军队数量加强质量的决定》，确定全军总员额再裁减130万人，压缩至250万人左右。到1958年底，全军总人数降至237万。通过20世纪50年代的精简整编，人民解放军大幅度压缩了步兵比例，加强了海军、空军和陆军技术兵种及军事院校，撤销了野战军和绝大部分兵团的领导机关，成立了空军、海军和炮兵、装甲兵、工程兵、通信兵、防化兵、防空兵、铁道兵等军种、兵种领导机关，军以下部队实行了统一的编制，在现代化正规化建设方面迈出了一大步，实现了由单一步兵型向诸军种、兵种合成型的转变，成为一支比较精干、初具合同作战能力的军队。60年代至70年代初，由于国际形势变化等原因，人民解放军的规模迅速膨胀。到1975年，全军总人数恢复到抗美援朝战争期间的最高员额，给军队建设和国家经济发展造成了严重影响。针对这种情况，毛泽东提出“军队要整顿”。1975年6～7月，中央军委召开扩大会议，决定压缩军队定额、调整编制体制，重点解决军种、兵种比例失调和机构臃肿的问题。到1976年，全军总人数比1975年减少13.6%。