1951年4月，奉中南军区转中央军委关于各级成立人民武装部的指示，河南军区于1951年11月15日发布命令：决定各专署、县（市）人民武装部自11月份起统归各军分区领导。

1952年上半年，由于朝鲜战局稳定，河南军区响应中共中央号召，对部队进行了大规模精简整编。撤销了陕州、陈留、潢川军分区，所属各县人民武装分别划归洛阳、郑州、信阳军分区管辖。

1953年元月，根据中南军区转中央军委命令，平原省军区番号撤销，其原属河南部分的濮阳、安阳、新乡军分区拨归河南军区建制。3月，经中南军区批准，将淮阳军分区撤销，其机构与商丘军分区合并。

1954年3月，中南军区决定撤销河南省公安团番号，其机构人员调军区营建委员会。9月7日，奉中南军区命令，撤销濮阳军分区。10月15日，根据中南军区指示，军区领导机关随同河南省党政领导机关由开封市迁至郑州市新建营区。

1955年3月18日，奉中南军区转国防部命令，将郑州军分区改称为开封军分区，原郑州军分区番号撤销。4月15日，中南军区撤销，成立武汉军区，河南军区改称河南省军区，归武汉军区领导。

1956年3月，奉武汉军区命令，省军区政治部成立了军事检察院。

1957年4月6日，根据武汉军区指示将原省军区军事法院、军事检察院，划归政治部领导；撤销省军区财务处番号，其工作任务交后勤部。4月，对公安部队实行了整编，将公安五十四团改为河南省军区公安一团，将公安五十六团改为河南省军区公安二团，公安五十五团番号撤销。9月，奉武汉军区命令，撤销河南省军区暂编第六、七团。

1958年3月，奉武汉军区命令，将新乡军分区、安阳军分区合并为新乡军分区，同时撤销安阳军分区番号。

1958年12月28日，奉武汉军区命令，成立郑州市人民武装部（副师级）。12月9日，根据中央军委扩大会议精神，为加强人民武装建设，县（市）兵役局自12月15日起改为“县（市）人民武装部”。12月15日，将商丘、开封两军分区合为开封军分区，撤销商丘军分区番号。

1959年5月4日，根据武汉军区命令，撤销郑州市人民武装部番号，成立郑州军分区。

1961年12月5日，奉武汉军区转总参谋部指示，根据地方行政区变化情况，决定恢复商丘和安阳军分区建制，撤销郑州军分区，恢复郑州市人民武装部。

1964年4月1日，山东省范县人武部划归河南省军区建制，隶属安阳军分区领导。

1965年8月23日，武汉军区转总参谋部批复，成立周口、驻马店军分区。

1970年1月10日，经武汉军区批准，郑州市人武部扩编为郑州警备区，撤销郑州市人民武装部番号。

1973年2月9日，中共中央、中央军委命令，原河南省军区独立第一师回归省军区编制，原河南省军区独立师改称为河南省军区独立第二师。

1975年10月11日，根据总参谋部命令，开封、洛阳、平顶山市人民武装部，由团级升为师级，行使副师级权限。11月3日，根据国务院、中央军委通知，河南省军区县、市中队交归地方公安机关建制领导。

1976年4月28日，总参谋部命令，河南省军区独立第一师改称为河南省军区独立师，下辖3个步兵团，1个炮兵团；撤销河南省军区独立第二师。

1982年12月25日，根据武汉军区命令，郑州警备区改为郑州军分区。

1983年11月27日，奉武汉军区命令，恢复濮阳军分区，平顶山市人武部升格为军分区，新乡市、焦作市人武部由团级人武部升格为师级人武部，鹤壁市人武部由团级升为副师级人武部。12月16日，根据武汉军区命令，撤销开封市人武部番号。

1985年6月14日，中央军委命令，武汉军区分别与济南军区、广州军区合并，河南省军区划归济南军区领导。10月16日，根据济南军区命令，洛阳市、新乡市、焦作市、鹤壁市人民武装部分别改为军分区。

1986年2月21日，根据济南军区命令，河南省新乡市，洛阳市军分区撤销，成立漯河、鹤壁、三门峡军分区。

1986年7月6日，根据中共中央、国务院、中央军委的通知，河南省军区所属的143个县（市、区）人武部全部移交地方建制领导。

中共河南省委书记、河南省人大常委员会主任、河南省军区党委第一书记：楼阳生

中国人民解放军河南省军区少将政委：张庆文

中国人民解放军河南省军区少将司令员：赵钧

中国人民解放军河南省军区少将副政委兼纪委书记：曾海清

中国人民解放军河南省军区少将副司令员：黄雪平、王仕权、黄卫东