靳辅的治河设想被基本通过以后，他就主持兴工了。靳辅本人非常感激康熙皇帝的“知遇”，不怕艰难险阻，不计较个人得失，决心干出一番事业。清口是黄河与淮河交汇的地方，云梯关又是淮河、黄河的入海必经之路。靳辅治河的工程是，首开清口烂泥浅引河四道，疏浚清江浦至云梯关的河道，创筑束水堤一万八千余丈，塞王家冈、武家墩大决口十六处。靳辅的治河有个理论，即欲使下流得治，必治好上流。根据这个理论，为防止黄河下流决口，又提出在上流建减水坝。每座坝各有七个洞，每洞宽一丈八尺，总计可以泄水之处为十二丈六尺。涨水时可用以宣泄。他从康熙十七年（1678年）三月以后督集人夫，对这段运河进行挑浚，一年之内完工。又堵塞清水潭、大潭湾决口六及翟家坝至武家墩一带决口。对清口也进行了深浚。康熙十七年（1678年）为筑江都漕堤，塞清水潭决口，靳辅到了现场观察。清水潭靠近高邮湖，他就在湖中离决口五六十丈的地方筑偃月形堤，筑成西堤一，长六百五丈，又挑绕西越河一，长八百四十丈，原来工部尚书冀如锡估计这项工程需费五十七万，而靳辅仅费九万，第二年竣工。受到康熙帝的表彰，奏请新挑河名为“永安河”，新河堤名为“永安堤”。

改变运口是靳辅治河的一项重要内容。靳辅任河督以后，在康熙十八年（1679年）一月至四月间，从新庄闸西南开新河至太平坝，又从文华寺永济河头开新河经七里闸，转而西南，亦至太平坝，皆至烂泥浅，移运口于烂泥浅之上。这个运口距黄、淮交会之处仅十里，从此再无淤淀之患，即使重运过淮，扬帆直上，也如履平地。

从康熙十七年（1678年）起，靳辅就开始报告湖河决口尽行闭合，治河工程逐渐取得进展。同时他还就治河工作本身做了不少改革，如裁减冗员，加强属员责任感，严格赏罚，改河夫为兵，划地分守，按时考核，等等。但是一边修治，一边仍有水患，从而引起越来越大的争论。康熙帝在一次谈话中也问大学士们：“修治决口，费如此多的钱粮，不久复决，此事如何？”被问者都乏良策，只说靳辅提出的期限未到，应当让他继续督修。到了康熙二十年（1681年）五月，限期已到，问题仍然没有解决，靳辅上疏说：“臣前请大修黄河，限三年水归故道。今限满而水犹未归，一应大工细册，尚未清造，请下部议处。”康熙帝当即下令给靳辅革职处分，但仍命他戴罪督修。这年七月黄河大涨，皂河淤淀，不能通舟。很多人主张仍由骆马湖，而靳辅坚持不可，亲自督工挑掘一丈多远，黄落清出，仍刷成河。随后又挑出张庄运口。

靳辅治河引起的空前大争论是在康熙二十一年（1682年）。这年黄河在宿迁徐家湾决口，塞住了，又决萧家渡，争论就开始了。当时有一位名叫崔维雅的人，曾在河南、浙江等地任府州县官多年，参与治河，颇有成效。他著《河防刍议》、《两河治略》，对靳辅治河的一套办法多持否定态度。恰值这年五月，康熙帝派户部尚书伊桑阿等勘察河工。崔维雅以候补布政使身份奏上所著书，要求取消靳辅建减水坝的方法，主张顺水之性，疏导与筑堤并举。康熙帝令他与伊桑阿等随行，到现场同靳辅商议。这一行人遍察各项工程，到了徐州，让崔、靳进行讨论。靳辅说：“河道全局已成十之八九。萧家渡虽有决口，而海口大阔，下流疏通，腹心之害已除，绝不应改变计划，破坏已取得的成功，酿成后患。”这件大事，在地方上无法解决，伊桑阿等回到京城。十月，在一次廷议会上，工部尚书萨木哈等提出萧家渡决口应令靳辅赔修。康熙帝认为，一是修河需要钱粮甚多，靳辅赔修不起；二是如果真的赔修，万一贻误漕运仍不好办，所以他没有听取这个意见。大家一致提出靳辅治河多年，应当听听他本人的意见，请他进京商议。康熙帝同意了这个建议。

康熙二十一年（1682年）十一月二十三日，清廷大学士、学士、九卿、詹事、科、道官员开会，在靳辅本人参加下，讨论他的治河事宜。会上，康熙帝命令靳辅口头说明自己的意见。靳辅说：“臣受河工重任，不敢不尽心竭力，以期有朝一日大功告成。今萧家渡工程，至来年正月一定完工。其余河堤，估计用银得一百二十万，逐处修筑，可以完工。”康熙帝追问：“尔从前所筑决口，杨家庄报完，复有徐家沟；徐家沟报完，复有萧家渡。河道冲决，尔总不能预料。今萧家渡既筑之后，他处尔能保其不决乎？河工事理重大，乃民生运道所关，自当通盘打算，备收成效，不可恃一己之见。”靳辅主动转移议题，指出人事问题比自然灾害影响更大，指出河堤必因地势高下，有的应十五丈，有的七八丈，岂可一律规定丈尺。康熙帝当场也表示“崔维雅所奏无可行者”。五年后崔维雅逝世，议给恤典，康熙帝仍说他“系不端之人。当时曾议修河，若委以此任，不但工不得成，必至事体败坏”。

这次大争论以崔维雅的方案被否决而告终。靳辅被宽大免赔，仍按原计划督修。康熙二十二年（1683年）四月，他上疏报告萧家渡合龙，河归故道，同时提出大滔直下，清口附近的七里沟等四十余处出现险情，天妃坝、王公堤及运河闸座，均应修筑。另疏请求让河南巡抚修筑开封、归德两府境内河堤，防止上流壅滞。康熙帝看到靳辅治河，“成与不成在此一举”，所以凡所请钱粮都要迅速解给。七月，当康熙再次向户部尚书伊桑阿、学士胡简敬等询问河道情况，他们都说河归故道，船只往来无阻。康熙帝高兴地说：“前见靳辅为人似乎轻躁，恐其难以成功。今闻河流得归故道，良可喜也。”十二月，靳辅得官复原职。

康熙二十二年（1683年）以前，靳辅基本上解决了黄河、淮河复归故道的问题。康熙二十三年（1684年）十月，三十一岁的康熙帝南巡。十七日到达山东郯城县红花铺，靳辅扈从康熙帝在河、淮之间，详视黄河、淮河、运河的水势、灾情及治河工程进展情况。二十一日，康熙帝特对靳辅讲了自己的感受和对治河的意见。

靳辅听了康熙帝的意见，立刻表示了看法。他说：“黄河为患最大，为功最艰，目前急务，不得不治其大而略其小，故借减水诸坝，使决口水分势弱，人力易施。待黄河尽复故道之后，臣当更议筑塞减水诸坝。”靳辅把问题引到更实际的地方，指出他从事治河的艰难性质，说明先用减水坝解决迫切的大水患，然后再图长远，塞住减水坝。康熙帝这次南巡还看到治河民工很艰苦，指示靳辅不能让贪官污吏克扣工食，对他们应加意轸恤。十一月十四日回来的路上，康熙帝把所著《阅河堤诗》亲洒翰墨，赠给靳辅。诗说：“防河纡旰食，六御出深宫。缓辔求民隐，临流叹俗穷。何年乐稼穑？此日是疏通。已著勤劳意，安澜早奏功。”这反映出，康熙帝把治河看做一件大事，当他看到沿河人民生活非常穷困的时候，认识到只有把黄河治好，人民才能安居乐业。他勉励靳辅在已有的成就基础上，朝着大功告成的目标前进。靳辅得到皇帝赠诗，受宠若惊，决心“效犬马之报”。

靳辅根据康熙帝解决防止减水淹民的指示，在宿迁、桃源、清河三县黄河北岸堤内开了一条新河，称为中河。再在清河西仲家庄建闸，引栏马河减水坝所泄的水入中河。这条河，上接张庄口及骆马湖清水，下历桃、清、山、安，入平旺河达海。漕船初出清口浮于河，至张庄运口。中河修成后，得自清口截流，迳渡北岸，度仲家庄闸，免去走黄河一百八十里的险路。这项工程于康熙二十五年（1686年）动工，至康熙二十七年（1688年）完成。历史上称赞靳辅开中河好处极多，建立了不朽的功绩，“中河既成，杀黄河之势，洒七邑之灾，漕艘扬帆若过枕席，说者谓中河之役，为国家百世之利，功不在宋礼开会通，陈瑄凿清江浦下。”

这时靳辅仍主张再修一些减水闸，而康熙帝认为减水闸有益河工无益百姓，命他详加考虑。康熙二十四年（1685年）秋，靳辅以河南地在上游，如有失误，江南必将淤淀，又筑考城、仪封堤，封丘荆隆口大月堤，荥泽埽工等。在睢宁南岸龙虎山凿了减水闸四个。不久，一场新的治河之争就开始了。引起争论的原因和康熙帝大有关系。他看到高邮、宝应等州县湖水泛滥，使广大民田被淹，提出要把这些地方减水坝泄出来的水引到海里。其实这也正是由于靳辅取得了治河的一定成就，使一些人，包括康熙帝，提出了更进一步的要求。康熙帝任命安徽按察使于成龙主持其事，但是仍受靳辅领导。在修治海口及下河问题上，于成龙和靳辅发生了分歧。于成龙主张疏浚海口以泄积水，靳辅则认为，下河海口高出内地五尺，疏海口引潮内浸，害处更大。他建议自高邮东车逻镇筑堤，历兴化白驹场，束所泄水入海，堤内涸出的土地，丈量以后还给人民，剩余者招民屯垦，收取佃价，作河工费用。此议传到康熙帝那里，怕取佃价，人民负担不起，没有被立即批准。

康熙二十四年（1685年）十月，靳辅连奏三本，一是挑浚高、宝等七州县下河令入海；一是帮筑高家堰堤岸；另一是修理黄河两堤。这里靳辅所持的观点，多与康熙帝及众人不同。康熙帝以事关重大，乘寒冬之季，河工有空闲时间，决定召靳辅及于成龙速到京师，会同九卿详加讨论。这次讨论持续时间很久，第一次的讨论从十一月二十日至二十二日，连续三天。第一天，内阁大学士明珠向康熙帝奏报河工事宜，着重介绍靳辅主张开大河，建长堤，高一丈五尺，束水一丈，以敌海潮。于成龙提出开浚原来的河道。二人所议不合，各持己见。提到会上与九卿会议，大家以为于成龙虽是著名清官，但对河工未经阅历，靳辅久任河务，已有成效，应采纳他的意见。但通政使参议成其范、给事中王又旦、御史钱珏等支持于成龙，认为他的意见更有道理。经过反复争论，清廷决定开下海，任命礼部侍郎孙在丰主持其事。这场争论对靳辅极为不利，即不但否定了他的意见，而且使康熙帝对他的信任发生了一定的动摇，当然也引起了更多的人向他展开猛烈攻击。如开海口的争论尚未结束，工部就提出靳辅治河已经九年，未获成功，糜费钱粮，应交部里严加议处。康熙帝说：“河工重大，因一时不能成功，即行处分，另差人修理，恐反致贻误。且俟一、二年后，看其如何？”得到皇帝的谅解，靳辅免遭革职处分，仍留原任。但康熙帝已认为他言语浮夸，说的不能完全兑现，便再寻找别的良法了。

此波未平，康熙二十五年（1686年）年底又掀起堵塞减水坝争论之波。靳辅虽然又提出几个小问题，表白自己无意与孙在丰为难，但清廷就此决定本年暂塞高邮州、高家堰诸闸，来年堵塞黄河以南诸堤坝。这也使靳辅越来越陷入被动。

康熙二十七年（1688年）以后，靳辅进入了他个人生活的晚年。这时虽然只有短短几年，但跌宕起伏，惊心动魄，总的来看，已非当年可比。首先使靳辅感到窘迫的是这年正月，江南道御史郭琇上疏劾靳辅治河多年，听命陈潢，今天议筑堤，明天议挑浚，浪费银钱数百万，没有终止之期。又指责他今天题河道，明天题河厅，以朝廷爵位为私恩，从未收到用人得当之效。还说他夺取民田，妄称屯垦，取米麦越境贩卖，特别是违背皇帝的旨意，阻挠开浚下河。二月，给事中刘楷又上疏劾靳辅用人不当，河工道厅之中杂职人员一百多人，而治河无成，每年只听报告冲决而已。御史陆祖修也劾靳辅“积恶已盈”，用舜殛禹做比喻，暗示应当杀了靳辅。一时之间，靳辅成了众矢之的。靳辅不服气，上疏为自己辩护。列举这些成功之后，对攻击他的人如郭琇、于成龙、慕天颜、孙在丰等，一一进行了驳斥，揭露他们阴谋陷害。最为彻底的是靳辅揭露出他之所以遭到猛烈攻击，原因在于那些人的田地在下河流域，他们都是当地的豪强地主，清丈隐占触犯了他们的利益，所以这些人“仇谤沸腾”。

康熙帝认识到奏劾靳辅的人有些不实事求是，不能据以定案，应给本人以陈辩机会。三月八日，康熙帝召集大学士、学士、九卿、詹事、科、道，总督董讷、巡抚于成龙、原任尚书佛伦、熊一潇、原给事中达奇纳、赵吉士等人当面进行讨论。靳辅以河道总督赴会。会上分为两派，一派如董讷等继续攻击靳辅，兼及陈潢；另一派如佛伦等，替自己开脱的同时，仍支持靳辅。两派争得不可开交。主要的对立面是靳辅和于成龙。在这次讨论中，康熙帝看出于成龙的确不懂河务。但是靳辅固执己见，与众议不合，尤其康熙帝本人也不赞成靳辅的一些主张，所以讨论的结果决定给靳辅革职处分，以福建总督王新命代替他为河道总督，陈潢也被革去佥事道衔。

靳辅刚刚被革职，臣下立即向康熙帝报告了两件事，一是漕运道路阻滞，有人提出希望派靳辅去解决；另一个是中河已开通，实际是报靳辅之功。这两件事都使康熙帝为难。他同左右臣下谈话一再肯定靳辅治河有成绩，如修治上河，不能说不善，京城的官员们赖以为生的就是上河堤岸坚固，漕船能保证通行无阻。于成龙所云“河道已为靳辅大坏”，纯属无稽之谈。这时康熙帝惟恐新任河总完全改掉靳辅治河的成果，搞得前功尽弃。他说：“谓靳辅治河全无裨益，微独靳辅不服，朕亦不惬于心矣。”指出王新命如顺从于成龙将原工程尽行修改，就是各怀私愤。又派大臣前去调查，指示其已建闸坝堤埽及已浚引河，都应如靳辅所定章程，不必更改。这些人回来报告，基本肯定了靳辅的成绩。

康熙二十八年（1689年）正月，靳辅被召扈从康熙帝南巡阅河。二十三日查看中河时，康熙帝问他：“尔当日如何筹画开浚中河？今又云何？”回答说：根据康熙帝以前巡视河工提出的任务想出来的，开浚之后看到不但可以解决水淹民田，还能通漕船，如令漕船由此通行，可免黄河一百八十里之险。现在看来，如再把遥堤进一步加修，更保险了。康熙帝听了靳辅的话，指示王新命继续完成中河善后事宜，强调先修遥堤及减水坝。三月，康熙帝根据南巡时江淮百姓、船夫处处称赞原来总河靳辅，念念不忘他的好处，又亲见靳辅所疏理的河道及修筑的上河一带堤坝，的确卓有成效，又见他实心办事，勤勤恳恳，觉得以前对他的革职处分太重，便下令恢复其从前的衔级。这是给靳辅恢复名誉，却不是官复原职。

靳辅第二次被革职以后，连续在家闲居三年。其间曾三次担负临时性的任务。第一次是康熙二十七年（1688年）十一月，同工部尚书苏赫等查看通州运河，提出在沙河建闸蓄水，通州下流筑堤束水，都被采纳了。第二次是康熙二十八年（1689年），扈从康熙帝南巡阅河。第三次是康熙三十年（1691年）九月，奉命同户部侍郎博际、兵部侍郎李光地等阅视黄河险工，行前康熙帝特别提到靳辅“于河务最为谙练”。第二年正月还奏，报告了黄河南北两岸无冲损的减水坝及应加培的单薄处，并绘图呈览，下九卿会议，令如靳辅所议实行。还有一次，康熙二十九年（1690年）三月，漕运总督董讷以北运河水浅，拟尽引南旺河水北流，仓场侍郎凯音布也请浚北运河，康熙帝召靳辅咨询，靳辅提出从北运河两旁下埽束水，不必引南河北流。这时靳辅以治河专家发挥了作用。

康熙三十一年（1692年）二月，运河同知陈良谟告发河道总督王新命勒取库银六万零七百两，康熙帝更加重视选择河总人选。他说：“倘河务不得其人，一时漕运有误，关系非轻。”他比较了几个可供任命的人选，还是决定罢免王新命，重新起用“熟练河务及其未甚老迈”的靳辅为河道总督。康熙帝说这可以解除他“数载之虑”。靳辅以体衰多病推辞，不许，命顺天府丞徐廷玺作为协理，帮助他，也就走马上任了。

靳辅这一次东山再起，尽管已年老体衰，却仍决心为治河贡献一切智慧和力量。他上任不久，陕西西安、凤翔地区遭灾，康熙帝下令截留江北二十万石漕粮，命从黄河运到山西蒲州（今山西永济县北）。靳辅接受这项任务以后，亲自督运，水路只能运至孟津（今河南孟津县东北），然后陆路运到蒲州。因做得出色，得到康熙帝嘉奖。但是他的病日益严重，就在这时他还连连上疏，复陈两河善后之策及河工守成事宜，对如何继续修治黄河、淮河及运河提出了宝贵的意见。他还上一疏，要求恢复已故陈潢的职衔及过去因讨论河工而受处分的尚书熊一潇等名誉。七月二十六日以后，因发烧不止，靳辅请求退休，被批准。十一月十九日，这位为治河而作出了巨大贡献的专家逝世于任所，终年六十岁。清廷按例给予祭葬。康熙三十五年（1696年），清廷批准江南人民的请求，在黄河岸边为靳辅建祠。靳辅死后，被追赠为太子太保、工部尚书，谥号“文襄”。

靳辅在康熙十年被任命为安徽巡抚，第一，请求豁免田粮和提倡发展生产。安徽地区连年荒旱，民多流亡，靳辅到任后关心人民的疾苦，尽力号召流民回到生产岗位上，经他召复的有数千户。他到任第二年，查出临淮、灵璧二县虚报开垦田地四千六百余顷，成为农民的沉重负担，他就奏请豁免了这份不合理的田粮。但是，靳辅有一个很重要的思想，这就是，他认为真正把地方治理好，不在于“请赈蠲租”，更主要的是发展生产，即“因民之力，教以生财之方”。为此，他主张在安徽地区“募民开荒”、“给本劝垦”、“六年升科”。靳辅举例说，凤阳五百里，苏、松三百里，苏、松财赋甲天下，而凤阳的贡税不及苏、松十分之一，虽然地有肥硗，却不应如此悬殊。追究其原因，他认为是苏、松地区水利修得好，小港支河，到处皆有，旱既可以灌溉，涝也得以排水，所以即使受到水旱影响，终究构不成大患。他以此为借鉴，在安徽实行沟田法，以十亩为一畘，二十畘为一沟。把沟里的土堆起来做道，道高沟低，涝则泄水，旱以灌溉。可惜未得具体实行，即因三藩之乱爆发而中止。

第二，参加平定三藩之乱，维护地方安定。康熙十二年（1673年），镇守云南的平西王吴三桂因撤藩起兵反清，接着福建的靖南王耿精忠和广东的平南王尚可喜之子尚之信也相继反，这就是轰动一时的“三藩之乱”。第二年，吴三桂、耿精忠的叛乱军队进攻江西，煽动饶州的兵弁起而响应。安徽巡抚驻安庆，地与相近，康熙下令靳辅所在增兵设防。靳辅立即在池州（今贵池）、安庆地方部署军队，不但保卫了本地区的安全，还有力地支援了江西地区的平定三藩之乱的战斗。有个名叫宋镳（标）的人，在歙县山中为乱，声撼远近，在江苏、安徽及江西地区流窜，与三藩之乱相呼应，靳辅将其追捕归案，消除了隐患。

第三，大力节省驿站糜费。康熙十五年（1676年），因平定三藩之乱，清朝军费猛增，供应非常紧张，负责筹饷的户、兵二部下令裁减驿站经费。靳辅此时上疏指出，“欲省经费，宜先除糜费”。他列举一系列糜费的渠道和可以节省的项目，如外地诸大臣，非紧要事情，不必专门派人传送奏疏，这可使火牌糜费节省十分之四；京城派往外地的官员，可以酌量并减，即解饷解炮，沿途自有官兵护送，亦止需差部员一名，则勘合糜费又可节省十分之三四；严禁各种员役横索骚扰，无名之费节省会更多。以安徽为例，全部所属驿站银二十六万余两，以十分之四计算，一年可省十余万两。这笔钱既可充军饷，亦可减少驿站本身的困难。康熙帝非常重视靳辅的意见，说：“驿递繁苦，皆由差员横索骚扰，著严行饬禁。”下部议，以靳辅所奏，定为条例。当年靳辅报告，安徽一地存留各属扛脚等项银十一万七千余两，节省驿站银十二万九千余两，总计二十四万余两。康熙帝当即表扬他节省存留驿站各项钱粮为数甚多，具见实心办事，按规定予以提拔，于是加兵部尚书职衔。

康熙十六年（1677年）开始，靳辅调为河道总督。靳辅治河十余年的成就，陈潢也有极大的襄助之功。康熙十六年七月十九（1677年8月17日），靳辅一连上八道奏折。史称“治河八疏”，就是将黄河、淮河、运河视作一个整体，全盘考虑防汛、减灾、通航、漕运等事宜。具体方法上，疏浚淮河、黄河的入海口，使得水流畅通；然后开挖宿迁至淮安的水道（中河），把黄河和运河分流，减轻高邮湖的水势压力；改下埽为打桩包土堵决。

清水潭工程进行期间，靳辅是吃住都在工棚，严查工程质量，遇有偷工减料、弄虚作假，随即返工，对责任人是严惩不怠，除了杖责后枷号河堤，还要赔付返工的全部费用。康熙十八年（1679年），清水潭工程竣工，只花了9万两白银。此后十多年没有决堤，彻底改变了高邮湖年年修缮、年年溃决的历史。此后，靳辅在张家庄运口经骆马湖，沿黄河北堤的背河，再经宿迁、桃源，到清河仲家庄开了一条名为“中河”的新河。使黄、淮、运分流，避免黄河漕运180里之险。

康熙二十四年（1685年），靳辅按照自己的考虑，为解决下河地区的水患，在这年的七月上疏提出建重堤，这又导致一场争论。靳辅在奏疏中先从历史上论证高邮、宝应诸湖是由高家堰、翟家坝旁流东注的结果，从此良田变为汪洋，为患下河。又以实测说明，运堤比高家堰堤顶低一丈多，因此建减水坝，在堰堤泄水一千方，在运堤则可泄水一千二百方，这使过去三遭大涨而运堤安然无恙。进而指出，运堤所泄之水，以下河为壑，下河之东即大海，浚海口似可缓解水患，但在清江浦至海的南北千余里范围内，只有庙湾、天妃为过去泄水入海之处，其余皆可以驰马之路，中间的泰州安丰、东台、盐城诸县，地势卑下，形如釜底，止就釜底挑挖，只能增加釜底的深度。如淮水盛涨，高家堰泄水汹涌而来，仍不能救被淹的民田。然后明确提出他和幕友陈潢设计的办法，即自翟家坝起，历唐埂、古沟、周桥闸、高良涧、高家堰，筑重堤一道。此工一成，好处极多，不仅使东堰堤减下之水北出清口，洪泽湖之水不再淹下河，下河十余万顷之地可变沃产，高宝诸湖皆可涸出田地数千顷，再召人屯垦，可充实府库，而且此堤还可以保护高堰，并使行于堤内河上的商民得到便利。在这篇奏疏中，靳辅专门说了些推荐陈潢的话。

康熙二十七年（1688年），靳辅、陈潢遭诬告革职入狱。随后康熙因数年河道未决，漕艘无误，查实后发觉是起冤案，处理了诬告官员，靳辅虽复出，但心力交瘁，当年病逝，而陈潢已病死狱中。靳辅生前著有《治河方略》，为后世治河的重要参考文献。靳辅之后，于成龙、张鹏翮先后主河，基本上沿袭的靳辅治水之略。他的许多方法，至今还在沿用。