大顺元年（890年）十月，佑国节度使张全义加同平章事。景福元年（892年）二月，朱温推荐张全义兼河阳节度使。光化元年（898年）十月，加侍中。天复元年（901年）五月，加中书令。

当时，唐昭宗正被镇国节度使韩建挟持于华州，朱温屡次上表请求东迁洛阳，昭宗虽不许，但朱温已命令张全义修缮洛阳宫殿，张全义也十分卖力，修了数年才竣工。天祐元年（904年）四月，唐昭宗抵达洛阳，张全义担心朱温对他不放心，就主动避让权位。朱温也担心张全义对自己的篡位阴谋“心有异同”，就顺水推舟，调他为天平军节度使、守中书令，封为东平王。朱温到处征战，都是张全义尽心尽力给他提供后勤保障。同年八月，昭宗被弑杀，十月，张全义来朝，朱温将他调回河南尹任上，兼忠武军节度使、判六军诸卫事。三年后，朱温建梁称帝，又命张全义兼河阳节度使，进封魏王，其后赐名宗奭。

开平二年（908年），朱温册拜张全义为太保，兼陕虢节度使、河阳尹。开平四年（910年），册拜太傅、河南尹、判六军，兼郑、滑等州节度使。乾化元年（911年），册拜太师。其时梁晋争霸，朱温自柏乡之战后处于不利局面，多次兵败于河北，张全义就搜刮卒伍铠马，每月献给朱温，以补其缺。乾化元年（911年）七月，朱温在张全义家里的会节园避暑，将张全义的妻子女儿全部强奸。张全义之子张继祚羞耻难当，想要杀死朱温，张全义制止说：“当年我被李罕之围困在河阳，每天吃木屑，只剩下一匹马，想杀掉来犒劳军士，死亡不过是朝夕之间的事，而梁却出兵了，所以我才活到今天，这个大恩不能忘记！”张继祚便住手。朱温晚年，猜忌之心愈发强烈，张全义也成为怀疑对象。张全义的夫人储氏每次入宫见朱温时，都设法为丈夫说情。有时朱温怒不可遏，急召张全义，储氏谒见朱温，说：“张宗奭不过是个农夫，除掉荆棘，开坑荒地，经营洛阳三十多年，资助陛下创业。现在他老了，活不了几天了，而您却怀疑他，这是为什么？”朱温就笑道：“我没有恶意，您老人家就不要再说了！”

乾化二年（912年）闰六月，朱温被朱友珪弑杀，朱友珪任命张全义为守太尉、河南尹、宋亳节度使兼国计使。翌年二月，朱友贞杀朱友珪而自立，任命为张全义为洛京留守，兼镇河阳。贞明三年（917年）十一月，张全义被任命为天下兵马副元帅。但朱友贞倚靠赵岩、张汉杰，并不信任张全义；又任命无能的段凝为北面招讨使，负责抵御李存勖的攻势。张全义曾遣使启奏朱友贞，请求代段凝为北面招讨使，朱友贞不听。

张全义虽然身在后梁，但他有个弟弟张全武当初在河阳被李克用的军队俘虏，并得到厚待，张全义通过张全武这个渠道也常常秘密通款于太原。同光元年（923年，龙德三年）十月，李存勖入汴梁，后梁亡。十月二十七日，张全义从洛阳赶来，泥首待罪，并献马上千匹。李存勖安慰他很久，说：“卿家弟侄，幸复相见！”张全义跪在地上感激涕零。李存勖考虑他年老，令人扶着上殿，宴会甚欢，并命皇子李继岌、皇弟李存纪等待他以兄长之礼。

五年前，朱友贞曾打算到洛阳祭天，因战事吃紧而作罢，但祭天所需的仪仗器具一直保存着。张全义趁机对李存勖说：“请陛下便幸洛阳，臣已有郊礼之备。”李存勖大喜，第二天就拜他为尚书令、魏王、河南尹。同光二年（924年）二月，李存勖完成郊祀，又升张全义为守太尉、中书令、河南尹，改封齐王，兼领河阳三城节度使，赐“保忠归正安国功臣”号。此外，张全义还一直给刘皇后行贿，作为自己的保护伞，刘皇后也认他为义父。

同光四年（926年），张全义卸下河南尹的职位，改任忠武军节度使、检校太师、尚书令。当年二月，赵在礼据魏州（邺都）发动兵变（邺都兵变），李存勖打算亲自征讨，大臣们则主张派李嗣源前往，李存勖本不答应，最后在张全义的力荐下才同意。可是李嗣源到魏州后，便卷入兵变，被变兵推为领袖，倒戈反攻洛阳。张全义闻变后，忧惧不食，于同年三月十五日（儒略历926年4月29日）死于洛阳家中。终年七十五岁。李嗣源即位后，追赠为张全义太师，赐谥号“忠肃”。

张全义自唐光启三年（887年）被李克用表请为河南尹，至后唐同光四年（926年）卸任，除了天祐元年（904年）四月到十月短暂出任天平节度使以外，在河南尹任上近四十年（唐末兼佑国节度使，后梁时兼西京或西都留守）。在他上任以前，唐朝陪都洛阳在黄巢起义后遭到毁灭性打击，先后被鹿晏弘、孙儒等人蹂躏，李罕之镇守洛阳时亦不能有效治理，导致张全义接手洛阳时面临的是“白骨蔽地，荆棘弥望，居民不满百户”的一片废墟，张全义手下也不过一百余人，与残余百姓共同住在一个叫中州城的小城寨里。他以勤俭朴实的品质，着手展开了洛阳的重建工作，主要有如下举措：

经过五年时间的经营和治理，洛阳就“号为富庶”，产生了“京畿无闲田，民户数十万”“家家有蓄积，水旱无饥民”的效果，成为乱世中的一片乐土。但美中不足的是，由于他个性过于“朴滞”，所以在处理百姓词讼时，都以先提出诉讼的原告为得理，所以很多人利用这点制造冤案，受到时人批评。但总体而言，洛阳正是在他手上从废墟中重建起来，洛阳百姓安居乐业，感激其再造之恩，对他爱如父母，所以到宋真宗时，洛阳父老仍然思念张全义。

黄巢战败后，张全义路过河阳三城，谒见节度使诸葛爽。诸葛爽看他相貌不凡，不仅收留了他，还对他特别优厚。等张全义被诸葛爽表请为泽州刺史、临行告辞时，诸葛爽对他说：“将来你的名位一定会在我诸葛某人之上，努力吧！”诸葛爽不久就死了，而张全义日益富贵，追思当年还没报答的恩情，便画诸葛爽的画像，挂在自己的私第，每天焚香供养，在画像前捻香完毕后，才出来办公，从未懈怠过。他的这个习惯保持了终身。

张齐贤对于水旱祈祭之事极为虔诚，他每次都先进行沐浴，然后素食斋戒，到了祠堂祭祀时，就仿佛觐见皇帝一样。有一年旱灾，祈雨未果，张全义的下属就请他打开龙门广化寺的无畏师塔（纪念唐密祖师善无畏的塔）。张全义开塔祭拜后，祈祷道：“今少雨，恐伤苗稼，和尚慈悲，告佛降雨。”果然下雨。所以洛阳民间有谚语说：“王（指张全义）祷雨，买雨具。”

李存勖灭后梁时，曾想掘开仇人朱温的陵墓，并斩其棺、焚其尸。张全义谏言道：“朱温虽然是国家的大仇人，但他已经死了，没必要再加刑罚，把他全家杀了就足以报仇，请求不要斩其棺、焚其尸，从而保全圣恩。”李存勖听从，只是铲平了朱温宣陵的地面建筑，砍掉封树而已。宋儒胡寅批评此举说：“张全义怀全忠私遇，甘于贱辱，夫岂知帝王惩戒之大方？”清朝乾隆帝也称“张宗奭屡易臣节，于李唐故主之恩蔑如，何独惓惓贼温，曲为保护？真是别具肺肝。”并称其建议为“邪说”。

同光二年（924年）十二月初六日，李存勖和刘皇后来到张全义家，举行宴会，酒过三巡，刘皇后对李存勖说：“臣妾幼年就失去父母，看到老年人就很思念，请求认张全义为义父。”李存勖当即批准。张全义非常惶恐，坚决推辞，李存勖反复要求他接旨，张全义只好接受皇后下拜，接着又纳贡谢恩。刘皇后又要求翰林学士赵凤起草她答谢张全义的书信，赵凤上疏批评皇后行为不当，指出“张全义虽位极于王公，而名不离于臣校，承陛下曲旨，受皇后重仪，致紊彝章，不防舆议”。李存勖虽然嘉奖了赵凤，但最终还是给张全义回了信，从此张全义与皇后通使往来不绝。

张全义的监军曾得到李德裕的平泉醒酒石，李德裕之孙李延古委托张全义讨还给他，监军很不高兴，说：“自从黄巢之乱以后，李家在洛阳的园宅都守不住，难道就只有平泉的一块石头吗？”张全义觉得这个监军是在讥讽自己以前曾在黄巢麾下，便勃然大怒，奏请将监军笞杀，天下人都觉得很冤枉。

到了后唐时，张全义辖下的河南县令罗贯非常刚直不阿，张全义主政洛阳近四十年，其僚属都对他百依百顺、毕恭毕敬，唯独罗贯却对他不那么恭顺，并敢于揭发被衙门庇护的居民。于是张全义派婢女向刘皇后说罗贯坏话，刘皇后又转告李存勖，使李存勖对罗贯怀恨在心，最终杀了他。

洛阳有张全义的生祠。后晋时，宰相桑维翰请赐号“忠肃”，获得准许，但因事中辍。宋朝时才正式赐额“忠肃”，并修葺德政碑楼。