但是，由于该军系西北军出身，一直受到蒋介石的提防。蒋介石利用郝鹏举与梁冠英之间的矛盾，于1936年春秘密派郝到该军活动，以私人访友作为掩护。事后据某营营长杨久存向梁冠英报告：“郝对官长们讲，蒋听你们很苦，非常关心大家,很早就打算给你们增加经费。因为你们这个军队头重脚轻，总指官佐人员太多，开支过大所以迟迟未决，最好你们劝劝总指，他为了官兵的前途和生活，应当早日引身自退等语”。

不久，梁冠英接到郑廷珍由南京拍来的电报，要求独立第五旅直属中央指挥。手枪团团长会继瑞也从南京来信（此时郑、会均正在南京受训）劝梁冠英明哲保身，急流勇退，并把他们在南京所得到的一切情况作了的报告。梁冠英感到蒋为了消灭异己，竟如此不手段，阴险毒辣，自己下去，一定凶多吉少，故于1936年5月间亲赴南京见蒋，把部队近来情况和郝鹏举的捣乱活动略向蒋报告后，即提出辞职的要求。蒋表面上还佯作挽留，并提出要严厉查办郝鹏举，叫梁冠英回旅馆听候消息。但是隔了两天，蒋派人送来一个“辞职照准”的指命，调梁冠英为军事委员会高参，该军番号随即撤销。

历任军长:

梁冠英

1937年9月25日，在广西成立第31军，下辖第131、第135、第138师，第135师隶属第3战区第19集团军，参加淞沪会战（1937年8月13日至11月下），11月该军开赴安徽，驻淮南凤阳、明光、定远及准北怀远、宿县等地，隶属第5战区参加徐州会战（1937年12月下旬至1938年6月中旬），战后至阜阳。隶属第5战区第21集团军参加武汉会战（1938年6月中旬至11月中旬）。7月26日失守太湖。

1938年8月末，第138师拨隶第48军，第31军调鄂东英山整理，将两个师各缩编成5个营参加广济作战。9月下旬调浠水。10月，第131师军官开回广西，第173、第174师拨入，该军改辖第135、第173、第174师。10月末移随县布防。11月中旬，第135师大部官兵拨补第173、第174、第189师，并将第173、第174师拨隶第84军。军部率第135师余部及第84军所属第188师回广西整理。12月27日抵桂林，属第1集团军，第131师归建，该军下辖第131、第135、第188师。

1939年1月，由桂林开赴柳江。4月，移驻桂平。隶属第4战区参加桂南会战（1939年11月15日至1940年2月8日）。11月第135师战于南宁，另两个师增援邕宾（南宁至宾阳）路。1940年1月，驻绥渌、南宁、武鸣。桂南会战结束后，驻守邕钦（南宁至钦州）路。1944年，主力在桂林、平南、南宁参加桂柳会战（1944年9月8至12月4日），第135师为后调师。1945年1月，该军及第131第135师裁撤，第188师改隶第46军。

历任军长:

刘士毅（1937.9.30-）

韦云淞（1938.6.16-1941.7）

贺维珍

1945年11月1日，第208、第209师合编为第31军，军部在浙江杭州，第209师驻福建上杭。第208师由江西黎川调驻福建福州。1946年初，第208、第209师由福州上杭集中浙江杭州，隶属衢州绥靖公署。8月，该军与第209师番号取消。

历任军长:

黄维

1948年4月，第205师在台湾扩编为第31军，师部改称军部，所属第1、第2旅分别扩编为第205、第204师。10月第204师调青岛，属第11绥靖区，军部和第205师调北平，隶属华北“剿总”第9兵团。

1949年1月21日军部和第205师接受和平改编，该军团以上军官空运南京。2月19日，第205师改编为中国人民解放军独立第62师。2月2日，军部编入解放军第39军军部。4月，第204师由青岛调南京，旋到上海，改隶第37军。

历任军长:

廖慷（1948.4.13-1949.1）