张伯行上疏请求免去台湾、凤山、诸罗三县因灾荒而欠交的赋税。因为福建的米价很贵，张伯行请求动用国库的钱五万购买湖广、江西、广东的米平价出售。建鳌峰书院，置学舍，拿出自己的藏书，搜罗前代文人的文集刊印成《正谊堂丛书》，用来教学生。

福建百姓祭祀瘟神，张伯行命令毁掉这些瘟神的偶像，改祠堂为义学，祭祀朱熹。民间多尼姑，有人卖贫苦人家的女子，以致削发为尼者成百上千，张伯行命令这些人家赎回自己的女子，为她们选择配偶。有家境贫穷无法赎回的，由官府出钱赎出。

康熙四十八年（1710年），张伯行调任江苏巡抚，救济淮安、扬州、徐州三府的灾荒。适逢布政使宜思恭因布政司库存亏空被总督噶礼弹劾罢免，康熙帝派尚书张鹏翮查处。陈鹏年以苏州知府的身份代理布政使职务，建议布政司库所亏空的三十四万，以分别扣除官员的俸银及使用差役的费用来抵补。张伯行行文噶礼要求联名上疏，没有被答应。张伯行便自己上疏，康熙帝得知后命张鹏翮一并调查。张伯行另外又上疏说明了噶礼的不同意见。康熙帝对廷臣说：“看了张伯行的这个上疏，知道他与噶礼不和。作为臣子，应该以国事为重。我办理机务将近五十年，未曾让一个人施展他的私欲。这个上疏应当放置不予理睬。”不久，张伯行以身体多病为由提出辞官，康熙帝没有允许。张鹏翮请求责成张伯行的前任巡抚于准及直思恭赔偿十六万，其余用官员俸银及使用差役的费用来抵补。康熙帝说：“江南亏空钱粮，并不是因为官吏侵吞。我南巡时，总督、巡抚随意挪用公款而下级官吏不敢议论。如果责成新任官吏来补偿，我实在于心不忍，”于是让查明南巡时用款情况上报。张伯行又上疏，奏明各府州县现无着落的钱粮十万八千，康熙帝命令一律免于赔偿。噶礼贪婪横行，张伯行与他相反。

康熙五十年（1712年），江南乡试的副考官赵晋暗中交接考生，接受贿赂。发榜以后，读书人议论喧哗，抬着财神进入学宫。张伯行上疏奏明这件事，正考官左必蕃也把实际情况上报。康熙帝命尚书张鹏翮、侍郎赫寿查处，张伯行与噶礼会审。后得到举人吴泌、程光奎暗中贿赂的情况，供词中牵连噶礼，张伯行请求解除噶礼的职务，交有关部门严肃审理。噶礼心中不安，也找出张伯行的所谓七条罪状上奏。康熙帝命二人都解职。张鹏翮等不久奏报：赵晋与吴泌、程光奎行贿受贿事均属实，应按刑律治罪；噶礼暗中受贿事属诬告，张伯行应撤职。

康熙帝责备张鹏翮等为噶礼掩饰，又命尚书穆和伦、张廷枢重新审查，结果仍旧与前次张鹏翮等人的意见相同。康熙帝说：“伯行任官清正，这是天下所了解的。噶礼才干虽有余，但喜好无事生非，并没有清正的名声，这个意见是非颠倒。”于是，命九卿、詹事、科道官再议。第二天，召九卿等说：“伯行居官清正廉洁，噶礼的操行我不能相信，如果没有张伯行，那么江南必然受到他的盘剥，大概要达到一半地区。这次二人互相参奏的案子，起初派官去审理，被噶礼阻挠，以致不能得到其中的真实情况；再派官去审理，与前面的意见没有区别。你们应能体会我保全清官的心意，要使正直的人没有什么疑虑和恐惧，那么天下将会出现安定的局面。”于是夺去噶礼的官位，命张伯行复职。

康熙五十二年（1714年），江苏布政使一职缺员，张伯行上疏推荐福建布政使李发甲、台湾道陈瑸、前任国子监祭酒余正健，而康熙帝已将湖北按察使牟钦元提拔就任。不久，张伯行弹劾牟钦元将通海盗的罪犯张令涛隐藏官署中，请求逮捕治罪。张令涛的哥哥张元隆住在上海，造海舱，出入海洋，拥有大量资产，交接豪贵。

赶上刑部下檄文搜缉海盗郑尽心余党，崇明水师捕住一条渔船，此船的主人是福建人，却假冒华亭籍，经过查验船照，知是元隆所代领。张伯行准备一追到底，当时令涛在噶礼府内任职，元隆托病逃避逮捕，案子未结却死于家中。噶礼先前弹劾伯行，曾抓住这件事作为七条罪状之一。正巧上海县百姓顾协一起诉令涛占据他的房屋，另外还有几处水寨窝藏海贼，声称令涛现在居住在钦元官署中。康熙帝命总督赫寿调查审理，赫寿庇护张令涛，以通贼事查无实据而上报。

康熙帝又命张鹏翮及副都御史阿锡鼐调查此案，张鹏翮等奏报张元隆、张令涛都是良民，请求夺去张伯行的官职。康熙帝命复查，并让张伯行自己陈述。张伯行上疏说：“元隆通贼，虽然上报已死，然而他财产丰厚，党徒也多，人人可以冒名，处处可已领到执照。令涛是顾协一首先告发的，如果顾协一举报不实，照例应以诬陷治罪。由于钦元庇护，致使此案久悬未决。我作为地方长官，应该在事情刚刚发和时即加以防止，怎能不追究呢？”

张伯行解任之后，张鹏翮等仍以他诬陷良民，挟私报复，要求斩首。刑法部门讨论同意这一建议，而康熙帝却免了张伯行的罪，调他到京城来。不久，张伯行到南书房任职，兼代理仓场侍郎，并充当顺天乡试的正考官。后授为户部侍郎，兼管钱法、仓场，又充当会试副考官。

雍正元年（1723年），雍正帝擢其为礼部尚书，并赐他“礼乐名臣”的匾额。

雍正二年（1724年），雍正帝命令他到阙里崇圣祠进行祭祀活动。

雍正三年（1725年），张伯行去世，终年七十五岁。张伯行留下遗疏，请求推崇儒学，奖励直臣。雍正帝悲痛悼念他，赠太子太保，谥清恪。光绪初年，准许附祭于孔子庙。

清初的社会意识形态和学术氛围，对张伯行有很大的塑造作用，他学宗“程朱”，以弘扬程朱理学为己任。他不遗余力地传播程朱理学，批判陆王心学，反对佛道思想。他不但信奉程朱理学，而且还把这种理学思想应用到日常的为学、为政和为人中去。

在为学方面，张伯行每到一处就广建书院，积极传播程朱理学，排斥其他学术，并搜集刊刻先贤文集；在为政方面，他关心河务，全心为民，并注重地方稳定，忠于职守，受到清圣祖的多次褒奖；在为人方面，他一介不取，为官清廉，不畏强权，刚直犯上。张伯行不仅是一位理学大家，更是一位尊崇躬行的理学实践者。他的理学思想主要包括“性理”学说、反对姚江、重视主敬、排斥佛道和尊崇躬行等五个方面。

张伯行刚成进士时，回家乡南郊建造了一座精制的房屋，摆上了数千卷书以供纵情观览，看到《小学》、《近思录》，以及程、朱的《语类》，说：“进入圣人的门庭在这里呀！”他曾全力找到宋代理学四大学派周敦颐、程颢、程颐、张载、朱熹各位大儒的书，一边诵读一边抄录，前后共七年。最初任官时曾说：“圣人们的学问，概括为一个‘敬’字，所以学习没有比掌握敬更重要的。”因此他自号为“敬庵”。又说：“君子懂得义，小人只知利。老子贪生，信佛的人怕死，烈士追求名声。这都是属于利。”

在官时所招致的，都是学问醇正、志向操行清廉的人，而且开始不让他们知道自己是做官的。平时对于意见不合的人，也仍与他们共事，开诚布公，同心协力，没有一点怨恨。他说：“已得到皇上的保全，怎敢以私而废公呢？”

康熙朝倡导清官政治，社会风气推崇清官，官员也以居官清廉为荣，这是张伯行成为大清官的历史背景。“我为官，誓不敢取民一钱”，这是张伯行的名言。由于当时官员薪俸极低，因此，要做到“一介不取”，很多人只能是降低自身的生活标准。与这种节俭型清官不同的是，张伯行生长在大地主家庭，衣食无忧，在他当官期间，一切花销包括米麦蔬菜、衣服穿戴，甚至是磨面的牛、石碾都是从河南老家运来。

康熙四十八年（1709年）张伯行从福建调任江苏巡抚时，整个路费仅花一两银子，这实为典型的‘矫廉’之举。为什么会如此？因为当时社会已形成了‘凡清必好’的风尚，因此人人标榜清廉，甚至互相鼓吹。“矫廉”还只是荣誉问题，更为严重的是，在政务处理上，清官往往无能。在张伯行所辖江苏省内，盗贼出没，案件堆积如山，连康熙帝也说“张伯行操守虽清，为人糊涂，无办事之才。”通过对历史事实的考查，噶礼弹劾张伯行，列他“七大罪”，并非全是诬词。到了雍正朝，雍正皇帝干脆直斥张伯行为“木偶”。雍正皇帝对以前的清官政治深为不满，对官员的“操守”和“才能”问题进行了新的定位。

张伯行著作宏富，有《正谊堂集》十二卷、《道南源委》、《道统录》、《伊洛渊源续录》、《居济一得》、《小学集解》、《续近思录》、《学规类编》、《性理正宗》、《广近思录》、《濂洛关闽书》、《困学录集粹》、《濂洛风雅》（均见四库总目）等，并传于世。

《清史稿· 列传五十二》