1935年10月，该军整编，因所辖部队较多分编为第21、第23、第44军。第21军下辖第1、第4师和暂编第2师，师长饶国华、范绍增、彭诚。11月进出名山雅安。

1937年1月，3个师分别改称第145、第146、第162师。第162师留驻成都（1938年2月编入第67军）。第145、第146师出川抗战，经徐州，于11月中旬到达南京浦镇。25日前后到达宜兴、长兴。第145师戍守安徽广德正面。第146师侧击安徽之敌掩护淞沪会战大军转进。30日后，向黄山方向撤退。12月，戍守皖南繁昌、荻港、铜陵、贵池、东流一线，隶属第23集团军。1938年4月，军部驻青阳。5月该军北渡安庆，增援合肥。6月回师皖南。10月，军部移驻江西浮梁，部队驻扎皖赣边界。

1939年3月，第145师改隶第50军，第3军所属第147、第148师拨入该军，改辖第146、第147、第148师。3月部队北移，守备湖口到贵池殷家汇段江防。参加第3战区1939年冬季攻势作战（1939年12月16日至1940年2月25日），策应第二次长沙会战（1941年9月7日至10月12日）。

1942年调浙江龙游、兰溪、汤溪，参加浙赣会战（1942年5月中旬至9月上旬）。8月，协同第49军攻略衢州，进出金兰，集结金华以西。12月开往浙西常山开化整训。

1942年12月，第148师与第50军所属第145师对调。1945年7月，第147师番号撤销，新编第7师拨入，该军改辖第145、第146和新编第7师。

抗战胜利后由江西贵溪移驻苏南昆山，隶属徐州绥靖公署第1绥靖区。1946年5月，整编为整编第21师7月，第145旅和新编第7旅调南通、如皋、海安。

新编第7旅参加江北地区作战（1946年7月上至12月底），8月11日在海安李堡镇被歼灭。1947年3月军部驻昆山，第146师驻上海，第145师驻盐城、东台，新编第7旅番号撤销。当月，调台湾，隶属台湾警备总司令部。8月，回苏中战场。11月，第145旅开安徽黄梅，属国防部九江指挥部，参加大别山“进剿”作战（1947年11月27日至1948年2月底）。12月10日第146旅在江苏海安、李堡镇等地被歼灭。1948年上半年，驻防海安、如皋、南通等地。

1948年9月恢复军、师番号，驻守准阴扬州。12月，增辖第230师。1949年2月，驻守江阴、扬中，隶属京沪杭警备总司令部第1绥靖区。4月21日，经无锡、苏州、昆山向上海转移，参加上海战役（1949年4月23日至5月25日）。5月26日，军长王克俊率第145、第146师师长李志熙、李前荣及团长等人先行撤离转移舟山，部队仍在第一线作战。26日部分官兵在淞沪警备副司令官刘昌义率领下接受和平改编。27日，第230师8000余人投诚。6月，第45、第21军合并为第21军，下辖第145师（由第21军残部并编而成）、第102师（由第45军并编而成）。8月，撤销该军番号，第145师约2000人拨补第75军，第102师番号撤销。

1949年10月，以残部为基干在四川乐山、新津重新编成第21军，下辖第26、第145、第365师，隶属西南军政长官公署。12月21日，军长王克俊，第26师师长李志熙率第26、第145师在大邑起义。12月25日第365师在郫县起义。

历任军长（整编师师长）：

刘湘（1926.11.27-）

唐式遵（1935.10.3-）

陈万例（1939.2.4-）

刘雨卿（1942.1.24-1948.4.19）

王克俊（1948.4.19-1949.12.21起义）

1927年，原国民五军军长吕秀文召集旧部在河南成立第21军，下辖第1、第64、第85师，师长丁省痒、张兴科、吕秀文（兼任）。

1928年4月，属第2集团军第1方面军，在山东微山湖以西与孙传芳部作战，由菏泽进攻巨野、嘉祥、郓城，4月中下旬在济宁地区作战。5月，由平阴北上。6月初到河北霸县。

北伐战争结束后，番号撤销。

历任军长：

吕秀文