1949年5月13日，奉党中央军委命令，内蒙古人民解放军改称中国人民解放军内蒙古军区，乌兰夫任司令员兼政治委员，1950年1月3日，党中央军委命令，内蒙古军区由乌兰浩特市移驻张家口市，归属华北军区建制。1952年8月8日，华北军区奉党中央军委命令，将绥远军区与内蒙古军区机构合并，改称中国人民解放军绥蒙军区，并决定在乌兰浩特市设立隶属于绥蒙军区的东部军事部，对内蒙古东部区部队实施领导，军区机关驻归绥市(今呼和浩特市)。9月6日，华北军区根据党中央军委9月2日指示，为统一军队和地方名称，决定将绥蒙军区改为蒙绥军区。

1954年3月25日，党中央军委根据党中央人民政府政务院政务会议关于将绥远省划归内蒙古自治区并撤销绥远省建制的决定，将蒙绥军区改称中国人民解放军内蒙古军区。