明永乐九年（1411）遣尚书主持治河，后有时派遣侍郎、都御史，成化七年（1471）设河道总督（简称河督、总河），驻扎山东济宁，首任总河为工部侍郎王恕。明初黄河为患较轻，朝廷以管理漕运的都督兼管河务。遇有洪灾，临时派遣总河大臣一员前往治理，事毕即撤，并非常设。正德四年（1509）规定以都御史充任。嘉靖十三年（1534），以都御史加工部尚书或侍郎职衔，隆庆四年（1570）加提督军务，万历五年（1577）改总理河漕兼提督军务，八年（1580）废。万历三十年（1602），朝廷将河、漕再次分职，此后直至明亡再未复合。

清置河道总督专官，掌管黄河、京杭大运河及永定河堤防、疏浚等事。治所在山东济宁，首任河督杨方兴。康熙十六年（1677年），总河衙门由山东济宁迁至江苏清江浦（今江苏淮安市）。河道总督驻扎清江浦，一旦河南武陟、中牟一带堤工有险，往往鞭长莫及。雍正二年（1724年）四月，设副总河，驻河南武陟，负责河南河务，以兵部左侍郎嵇曾筠为首任副总河。两年后，黄河险段由河南逐渐下移至山东，朝廷又将山东与河南接壤的曹县、定陶、单县、城武等处河务交由副总河管理。雍正七年（1729）改总河为总督江南河道提督军务（简称江南河道总督或南河总督，管辖江苏、安徽等地黄河、淮河、运河防治工作），副总河为总督河南、山东河道提督军务（简称河东河道总督或河东总督，管辖河南、山东等地黄河、运河防治工作），分别管理南北两河。遇有两河共涉之事，两位河督协商上奏。遇有险工，则一面抢修，一面相互知会。总河则演变成南河总督，仍驻清江浦；副总河演变为河东总督，驻扎开封。