隆庆六年（1572年），张国彦的生母郑孺人去世，因此不得不再次告假归丧。

万历三年（1575年）三月，服丧期满，张国彦被起任为浙江右参政。

万历五年（1577年）正月，张国彦升为陕西按察使。

万历六年（1578年）八月，张国彦升为陕西右布政使。

万历八年（1580年）六月，张国彦入朝祝贺，途中升任江西左布政使。张国彦前后担任按察使、布政使等重要职务几十年，他严明法纪，惩治奸邪，秉持公正以肃清纲纪，无不尽心尽力。然而，张国彦大都秉持仁慈宽厚的原则，处处展现出他的德行。

万历九年（1581年）八月，张国彦被召入京城担任顺天府尹。张国彦深知京城作为国家的根本之地，常常面临各种无名的需求，加之那年又遭遇严重旱灾和瘟疫，百姓的财富日益枯竭。于是，他借着祈雨的机会上书陈述，详尽描述了京城百姓处于极度危险的状况，恳请朝廷能够采取宽恤措施。当时，张居正权倾一时，他看了张国彦的奏疏后十分愤怒地说：“怎么能在这个大难临头的时候提出这样的问题！”随即指使言官弹劾张国彦越职求名，几乎要对他进行严厉的惩处，但最终只是下旨剥夺了他的俸禄以示惩罚。

万历十一年（1583年）二月，吏部尚书严清严加搜罗并提拔那些长期不得志的人才，于是张国彦被提拔为都察院右副都御史，负责抚治郧阳地区。十一月，张国彦奉命巡抚顺天府。这起调任的原因是蓟镇的黑峪关失守，当时的巡抚因失职而受法律制裁被撤职，众人一致认为只有张国彦才能胜任这一职务，因此朝廷发布了这样的任命。张国彦到任后，加强了城墙的修筑，增设了望哨，勤奋训练士兵，并选拔勇敢的将士，使得敌人闻风丧胆，不敢轻举妄动。同时，房山地区有一些奸民如史锦等人，他们利用开矿的借口迷惑圣听，企图谋取私利。张国彦连续上疏极力劝谏，请求朝廷依法处置他们。明神宗采纳了张国彦的建议，将史锦等人发配边疆戍守，从而平息了这场风波。这一举措在事态尚未恶化之前便消除了隐患，如果不是张国彦的努力，恐怕难以达到这样的效果。

万历十三年（1585年）三月，张国彦升为户部右侍郎。

万历十四年（1586年）六月，张国彦升为户部左侍郎。九月，张国彦上奏说：“君主与百姓的关系，就像船与水的关系一样。水流平稳则船不会倾覆，民心安定则君主无忧，这是必然的道理。过去的历史暂且不论，就以我朝之前的刘六、刘七等人来说，他们起初也不过几十人，后来却能驱使天下的穷苦百姓跟随他们，势力蔓延至数十万人，流毒全国，几乎到了无法收拾的地步。想到这里，我不禁感到十分寒心。自从我任职以来，私下观察到各省直地方旧灾未平，新灾又接踵而至，年年歉收，处处空虚，老弱之人饿死沟中，青壮之士也朝不保夕。天下如此，岂不是与全身生病的人无异？更何况辽东、山西都紧邻敌境，而陕西则北有外敌、西有番族、回夷以及茶矿之徒环伺，寻找可乘之机。倘若再出现一个像刘六、刘七那样的大奸巨猾之人出来煽动，皇上将如何应对以制其死命呢？现在就开始处理这些问题，还可以确保无事，如果慢慢等待，将来后悔就来不及了。我每次在朝廷上与各位大臣谈论时事，都认为处理的办法大致有两种，不过是减免赋税和赈济灾民罢了。但减免赋税，不仅仅是减免存留的部分，还必须连同起运的赋税也一并减免。赈济灾民，也不仅仅是搜刮国库，还必须动用内帑、借调漕粮来普遍救济。这确实是救时的首要任务。然而，我还认为这并非治本之策，那么治本之策在哪里呢？在于我们皇上能够一心一意地感动亿万人民的心。汉文帝爱惜十户中人的家产，于是停止修建露台。当时，万民欢欣鼓舞，即使是垂死之人也伏在枕上叩首说：‘希望能稍微延长一点生命，以目睹我皇的德政教化成功。’这不就是君主用心感动，百姓用心响应的明证吗？各位大臣对皇上的期望，以及皇上对自己的期待，难道仅仅是想要超过汉文帝吗？然而，我看到苏杭的织造、江西的瓷器烧制，以及公主广泛搜求珠宝，这三件事或许与汉文帝节省百金的费用相似吧？去年京城大旱，皇上不辞辛劳，徒步到南郊为民祈祷，不久上天眷顾，大雨倾盆，至今雨水充足，京城附近一带还称得上是丰收之年。即使万世之后，天下之人也会说：‘我们的皇上为了百姓徒步祈雨，真是大圣人的作为啊！’今年则天下无处不灾，无人不苦，难道仅仅是去年京城一带的旱灾而已吗？希望皇上能仰观天象之变而忧虑，俯念百姓之穷困而怜悯，远追汉皇节俭的芳踪，近思刘贼猖狂的隐祸，将以去年忧虑京城之心扩大开来，为四海九州的人民考虑；将以去年徒步祈雨之心引申开来，为暂停织造等项事务而行动。这样，皇上的节俭之德将昭告天下，仁爱之风将鼓舞穷苦百姓，天意将因此而逐渐回转，人心将因此而永远稳固，亿万年不朽的基业就在于此了。”明神宗奉旨回复：“各地灾害频发，百姓流离失所，困苦不堪，朕深感痛心，减免赋税和抚恤灾民的事宜已着令商议实行，关于织造布匹、烧制瓷器等事，之前已有旨意宽减。”

万历十五年（1587年）二月，张国彦改任为仓场总督。在他担任仓场总督仅三个月时，南方军队发生哗变，人心惶惶。四月，张国彦被提拔为右都御史，并总督蓟辽、保定地区的军务。他刚一到任，就立即颁布命令，军中因此安定下来。他的威严、仁德和恩惠使得人们对他心生敬畏，他的名声也因此迅速传开。

在辽东地区，海西女真部落那林孛罗勾结建州女真，用刀刃伤害了官军和士兵，成为了不小的祸患。张国彦亲自督率文武将吏，与敌人殊死战斗，最终大败敌人。在这场战斗中，他歼灭了那林孛罗部落的八个首领，斩首五百五十人，俘获了一百匹战马和七倍于这个数量的战利品。敌人因此乞求宽恕并认罪，其余部众也随后通过传檄的方式被平定。这场战役中，张国彦立下了保卫国家的大功。然而，当他将这一战绩上报给兵部并请求表彰时，得到的只是朝廷赏赐的金币，而没有得到应有的封赏。

万历十八年（1590年），朝廷升张国彦为兵部尚书，同时仍保留他总督的职务。那年冬天，他回到朝廷，协助处理军事事务，每天都兢兢业业地监督和操练军队。

万历十九年（1591年），在洮河之变中，真相、火落赤部等少数部落以报复瓦剌的仇恨为名发动战争，但朝廷照常进行市场贸易和赏赐。当时朝廷上的议论纷纷，意见不一，这让张国彦感到非常郁闷，他说：“如果对此置之不理，国家的尊严何在？”于是上疏请求停止议和，主张开战，并全力支持总督魏学曾的提议。因此，他又与执政者产生了矛盾，平时常常闷闷不乐，感到不自在。他又考虑到自己年事已高，于是恳切地请求辞官归乡，明神宗温和地劝慰他并挽留他。十二月，又改任张国彦为刑部尚书。但张国彦坚持请求退休，最终得到了允许，并特别恩赐他乘坐驿马归乡，还赏赐他金银财宝，同时等待他病愈后再行起用。

回到家乡后，由于张国彦在朝中的功绩，被晋升为太子少保。国家给予他的优待，已经是非常足够了。张国彦原本就精通玄妙的哲理，回乡后更是闭门不出，深入钻研，超然物外，远离尘世的纷扰。除非多次邀请，否则张国彦很少与那些前来拜访的显贵官员见面。尽管京城北京近在咫尺，但他却很少与那里的人有所往来或赠送礼物，但他却特别乐于奖掖后进，就像以前他帮助李弘道成长那样。此外，张国彦还常常捐出自己的俸禄，帮助亲戚邻里，无论是饥饿待哺的家庭、等待安葬的丧家，还是需要资助婚嫁的人家，他都慷慨解囊，这样的人家数不胜数。在闲暇之余，张国彦喜欢登上丛台远眺，或在别墅中悠然自得，督促子孙们勤奋学习诗书，这已成为他的日常习惯。张国彦在功成名就之后选择退隐，享受山水之间的乐趣，这样的生活又持续了十年之久。

万历二十六年十月初八日（1598年11月6日），张国彦因病在家中安然去世，享年七十四岁。噩耗传来，明神宗深感震惊与哀悼，下令由吏部尚书商议赠予的官职，最终决定赠予太子太保；礼部尚书则商议祭祀之事，规格比常例高出一等；工部尚书则负责葬仪，拨出国库资金若干，并派遣中书舍人前往查看墓地准备情况。此外，还荫封张国彦的一个儿子为太学生。

从襄陵知县到刑部尚书，张国彦做了几十年的地方官，政绩和经验都是令人佩服的。在自己的从政生涯中，在他自己的职权范围内也有建树，“蓟镇屯田”，即为其大者。

在张国彦任顺天巡抚之前，永平、滦州、沧州、庆云一带，“地皆雀苇，土实膏腴”，“惟苦水害”，而“北人未习水利”，“不知水害未除，正由水利未兴也”。万历三年（1575年），工科给事中徐贞明曾向朝廷提交了一份京畿和整个北方数省的水利兴建工程计划，建议朝廷参照元代虞集“欲于北京东滨海地筑塘悍水以成稻田”的构想，从京畿开始，兴建水利，集民屯田。但是，由于不久徐贞明即遭到贬官，因此此事被搁置下来。张国彦任巡抚顺天期间，与副使顾养谦、总督张佳胤一道，首先将徐贞明计划诸实施，“行之蓟州、永平、丰润、玉田、皆有效”。后来，尽管此举“为豪右所阻”。而后无法继续开垦荒地，对储备军粮、充填国库很不利。未能实施到底，但却由此而引起了朝廷的重视，遂开畿辅水利兴建之先河。

万历十年（1582年），张国彦第二次回到顺天府任上，是因为被大家一致认为“非借公（指张国彦）不可”，他采取正确的措施，使严重的边关敌情得到缓解。

万历十五年（1587年），张国彦又被朝廷擢为右都御史，总督蓟、辽、保军务，张国彦到任后，整治有方，威德惠怀，很快平息了军队骚乱。辽西的海上部族那林孛罗，不断在边境挑起事端，刀伤官卒，暗中勾连北虏，起来叛乱。张国彦率领军队前往镇压，大败之，消灭其头目8人，斩首550，获夷马百，卤器700多具。那林孛罗乞哀请罪。张国彦因建有“社稷功”，兵部曾为其请功，但朝廷仅仅给予了赏费奖励。

万历十八年（1590年），张国彦考升列衔兵部尚书，总督如故，后受命任职协理京营戎政，为兵部所辖，是单独列置的部门。根据明史记载，协理京营戎政一尚书成或右都御中一常京营操练之事。1590年，女真族中南关首领死后，北关首领乘机发兵，引发了边境的战乱，时任蓟辽总督的张国彦和辽东巡抚顾养谦兴师声讨北关，击败了北关势力，并有意让南关与努尔哈赤结亲，以此壮大南关的声势，压抑北关，使其不在边境作乱，维护了边关的安宁。不久，甘肃洮河发生兵变，蒙古第三代“顺义王”扯力克悍然侵边，首犯西宁，并连陷临洮、河州、渭源，攻克洮州，明军数位主将败死，西北震动。张国彦奉命前去平息战乱，立下汗马功劳，皇上加封其为太子少保，赐给有飞鱼图绣的官服，享国家一等俸禄。

万历年间，国内驿路毁坏严重，往来传递信件路途艰难，驿邮业极不景气。张国彦奏请朝廷设置背包军马，让京城附近派往守边的人回乡补充军队，使军事消息传递畅通，也为京城人民提供了便利。

萧良有：往岁嘉靖壬戌盖制科期云，而是科诸进士竞名位所底，惟顶甲最盛，三公俱相继大拜，自余朊仕盖鲜，其以上卿而跻宫保者，先后才可几指诎耳，若邯郸弘轩张公其一也。张公既显庸，且用节概勋伐，为时名臣。（《明故资德大夫正治上卿太子少保刑部尚书赠太子太保弘轩张公暨配赠夫人蔚氏合葬墓志铭》）

关于张国彦的发迹有一个故事。张国彦的父亲张绣家里很穷，没有儿子。设一空坛子积钱十年而坛满。有位邻居生有三个儿子，夫婿犯法而罚做劳役，筹办卖掉妻子以抵销罪过，张翁担忧邻妻离去，其三子不能全部生活，于是，就与太太商量，把积蓄的钱全部拿出来代偿赎银，还不足，太太拔钗凑上。这天晚上，他们梦见上帝抱一可爱的孩子送给他们，于是生下张国彦。此后子孙接踵在科考中及第。

参见：二柏一孔桥

位于邯郸市永年、武安、邯郸三县交界处的二柏一孔桥，与张国彦有一定的渊源。明神宗素知张国彦为官清廉，便下旨命他携巨款回老家监修石桥。张国彦领出巨款后，在此处修了一座小石桥，两端栽上两棵小柏树，把大部分银两放了赈，贫困之家均有一份，使老百姓得以平安度日，并添置农具，购买耕畜。

由于张国彦携巨款修桥，气坏了朝中小人，他们便向明神宗说张国彦的坏话，明神宗派钦差查办此案。钦差奉命，便赶到邯郸张家府第。张国彦与钦差乘轿去了城西北紫山脚下，指着一条小石桥说：“这就是所修建的石桥？”钦差说：“张大人，这哪里是‘二百单一孔大石桥’？分明是一座小沟上的小石桥啊！”张国彦说：“你可看好了！这石桥是一孔，桥两端是两棵柏树，名字就叫‘二柏担一孔石桥’，我启奏修桥时，你也在殿上，我说的就是‘二柏担一孔石桥’，可万岁误以为是‘二百单一孔石桥’，就拨下这笔巨银，我既不敢说万岁错了，又不敢违抗圣旨，只得带银回乡，将小桥修好，余银放赈贫民，为圣上换取民心。”说完，便呈上一份放赈清单，工程、放赈款项一清二楚，领款人皆有指印。钦差一笔笔细细核了，分毫不差。

钦差找不到张国彦半点贪私之处，又不敢将实情和盘回奏朝廷，只得以“查有其事，并无错讹”八个大字向明神宗支吾了事。众臣见差官回来如此，也就不再提起此事了。

张国彦在职时，奏议颇丰，著有《琐垣疏议》四卷。

张国彦为明万历朝重臣，《明史》无传。但对于其为何《明史》无传，众学者基本采用《邯郸简史》一书中的观点，认为是受其子明天熹朝重臣张我续（奸臣魏忠贤党徒）牵连所致。也有学者根据孟森《明史讲义》一书中关于“凡明朝文武诸臣，曾为督抚镇巡等官者，皆削其在辽之事迹。”“凡是明朝人中所长而必书之事在于建州者，则《明史》中削其人而不为立传。”的观点认为，实乃因张国彦与建州事有关，所以《明史》无传。

张国彦墓原位于邯郸县城西部王朗村北的莲花岗（今复兴区，建设大街北段东侧），其规模宏大，葬礼由朝廷重臣主持，彰显尊贵。墓地构造讲究，封土高耸，石碑、石牌坊及神道两侧的石人石马（“石象生”）等石雕艺术品增添了墓地的庄严与肃穆。张国彦下葬于万历二十七年（1599年）十二月初十日，其夫人蔚氏早逝，合葬于其墓穴右侧。崇祯十七年（1644年），李自成起义军破坏了墓区部分设施；康熙四十二年（1703年），康熙帝南巡回京途中下令重修，张氏后人恢复了祭堂并种植松柏。然而，因“文革”时期城市建设需要，墓地于20世纪80年代被迁移至邯郸县以西约20里的张岩嵛村北岗地，新址虽保留坟丘，但已不复往日辉煌。现今，张国彦墓地的部分遗物，如诰封及兵部右侍郎赠封太子少保、刑部尚书赠封太子太保等石碑，被保存于丛台公园邯郸碑林内。

明清时期，邯郸城内有数不清的旌表石牌坊、旌表匾，多是彰显张国彦家族品德和业绩的。张家获赠的牌坊包括：左副都御史兵部侍郎张滕（张国彦祖父）“恩褒三世坊”、张滕妻“贞节坊”、都给事中张国彦“谏议坊”、户部侍郎张国彦“地官上卿坊”、都御史张国彦“节制四省坊”、总督尚书张国彦“大司马坊”、张国彦子户部尚书张我续“宫保尚书坊”、张国彦与三子张我续“父子进士坊”、张国彦与次子张我绳、三子张我续“孝友世家坊”等，计9座旌表牌坊。