1925年夏，张厉生取道回国，在上海中山学院任主任教授。在上海他结识了陈果夫。1926年夏广州国民政府发起北伐，于10月间底定湘鄂。张厉生于该年底奔赴武汉，参加国民革命军。当时的武汉，中共与国民党左派力量较大，张为韬晦计，将“维新”正式改名为“厉生”，字少武，兼有纪念其父之意。1927年初，张任国民革命军第十军(原黔军王天培部)政治部主任。不久，他应杭州市长邵元冲邀，前往杭州任市政府主任秘书。

1927年4月蒋介石发动“四一二”政变，张厉生顿即趋附，赶去南京。当时蒋介石急需网罗各种反共人才，而张早在巴黎即有反共经历，因而被委任为国民党南京市党部监察委员。1928年3月，陈诚任国民革命军总司令部警备司令，因邵元冲推荐，张应邀任司令部秘书。不久，张又担任国民党南京市党部党务指导委员。

1929年3月，国民党举行第三次全国代表大会，张厉生“由中央指派”为大会代表。这次大会由蒋介石一手操纵，宣称“过去数年党之一切理论、法令、规章，为共产党之反动思想所搀混”，悍然将共产党人与国民党左派开除党籍，并极力排斥国民党内其他派系。张厉生在这次大会上对蒋介石由衷拥护，给当时任中央组织部副部长的陈果夫留下极好的印象。会后，陈果夫约张出任中央组织部秘书，从此张厉生成为CC系的要员。1931年11月，张厉生参加了南京中国国民党第四次全国代表大会，任组织提案审查委员会党务组的审查委员，还当选为候补中央执行委员。1932年初，张厉生兼任鄂、豫、皖三省“剿匪”司令部党政委员会党务处长，主管“围剿”红军的国民党军队中的党务，先后主持制订了《自新悔过条例》和《剿匪区内屯田条例》等。

日本帝国主义发动“九一八”事变侵占我国东北后，又进逼华北，国内各派政治力量与军事势力也在华北积极活动，华北局势处于十分复杂的状态。蒋介石因张厉生是河北人，遂于1932年10月任命张为军事委员会委员长行营驻北平军事代表，同时负责整理河北、平津及平汉、北宁各铁路的党务，并兼任河北省政府委员，驻节北平。张一时成为国民党在华北的党政要人，来往于各军政要员之间，纵横捭阖，促使商震、宋哲元、秦德纯、庞炳勋、高桂滋诸军事将领签订“军人公约”，表示“拥护中央，服从领袖”，共尊蒋介石为唯一领袖。1933年夏，张厉生秉承蒋介石的旨意，诋毁冯玉祥、方振武等人领导的察哈尔抗日同盟军，一方面在其所办的《人民评论》等报刊上组织文章加以诋毀;另一方面暗中拉拢庞炳勋、阮玄武等军进击张家口，并且亲自到前线视察讲话。

作为华北党务特派员，张厉生四处活动，组织了华北十二省、市、路党部(即国民党冀、察、平、津、平绥、北宁六省市路党部和从东北流亡在北平的辽、吉、黑、热四省党部以及不容于阎锡山的晋、绥两省党部)的双周集会，召集这些党部的主要成员，定期讨论如何整顿发展国民党组织，如何反共，如何排除汪(汪精卫)、胡(胡汉民)派系。经过他殚精竭虑地活动，终于使得北方十二省、市、路党部一齐倒向蒋介石，其政绩大受蒋介石的赏识。

其时，张厉生还追随陈果夫、陈立夫，于1933年初先后参与发起成立“青天白日团”(简称“青白团”)和“中国国民党忠实同志会”(简称“同志会”)，以前者为核心，二陈分任正副干事长，张厉生为五名常务干事之一，负责华北地区。“青白团”与“同志会”的宗旨是拥护蒋介石为党内唯一领袖，实行军事独裁，拥护蒋介石的“攘外必先安内”政策，继续进行反共内战，镇压民主爱国运动。张厉生指使胡梦华在华北成立反动青年学生组织“诚社”作为外围组织，打击和破坏日益高涨的青年学生抗日爱国民主运动。又在北平收买了《人民评论》，创办了《存诚月刊》等，还成立了“中国文化建设协会”的华北与河北分会，积极宣传三民主义理论。

1935年11月，国民党召开第五次全国代表大会，张厉生当选为中央执行委员。1936年2月，张出任国民党中央组织部长，主管全国党务。他接替陈果夫、陈立夫长期把持的这一要职，深知艰难万分，谨慎持重，率由旧规，不轻更张。在任职期间，张主持制定了《国民大会组织大纲》，规定国大代表按比例分别由各地区与各行业产生，由此产生了“职业代表”一说。

抗日战争全面爆发后，蒋介石为集中全力指挥对日作战，裁并中央党政军机构，一度设立大本营，将国民党中央组织部并入大本营第六部，陈立夫为部长，张厉生为副部长。不久又恢复军事委员会建制，第六部取消，新成立军事委员会政治部，以陈诚为部长，周恩来与黄琪翔为副部长，张厉生为秘书长。张以中央组织部长的身份充任陈诚的幕僚长，遭到陈果夫、陈立夫等人的非议，认为有失体统。张却全然不顾，并且从此离开了CC系。不久，张厉生升任政治部副部长。

1941年2月，张厉生改任由蒋介石亲自主持的国防最高委员会下设的党政工作考核委员会秘书长。他以一丝不苟的作风工作，努力推行新制，深获蒋的赞许。1942年12月张又被蒋任命为行政院秘书长，并兼国家总动员会议秘书长。他秉承行政院兼院长蒋介石与副院长孔祥熙的旨意，负责处理行政院的日常政务事宜，认真谨严，起草文牍有条有理。他还发起两周一次的各部次长会议，检查行政院决议、指示、命令的执行情况，讨论、处理各部会行政事务方面的共同问题。张厉生谨慎谦和、精敏稳健的作风，以及以认真负责和周密审慎的态度，协调各部会间及各省政府间的若干歧见与难题，颇得各方赞誉。

1944年12月，张厉生出任内政部长，并仍兼任行政院秘书长至1945年6月。张主政内政部约四年时间，积极推行国民党的“地方自治”制度，制定和颁布了《省县自治通则》和《市自治通则》;还主持修订人口法令，改进人口调查登记制度，统一调查登记法规，督促各地普遍实施户籍登记，筹划举办全国人口普查，并在1946年3月成立了人口局。由于蒋介石发动了内战，人口调查未能进行。

张厉生在内政部长任内最主要的工作是操持“国大”代表选举与张罗召集两次“国民大会”。1946年11月，国民党蒋介石撕毀政治协商会议关于召开国民大会的决议，不顾中国共产党和各界民主人士的反对，悍然召开“国民大会”，通过了《中华民国宪法》。张厉生以内政部长身份兼任“国民大会”选举总事务所副主任委员，具体主持“国大代表”的选举与增额事宜。当时正值国共内战激烈，且有青年党、民社党的纷争和国民党内部派系的钩心斗角，使得“国大”代表的选举与“国民大会”的召开困难重重，首当其冲的内政部与张厉生一时成为各派政治势力攻击和发泄不满的对象。但张厉生硬着头皮顶住各方压力，秉承蒋介石的旨意，操持了这次大选。接着，张厉生又操持了1948年春召开的所谓“行宪国大”，使蒋介石当选为总统。嗣后蒋介石提名翁文灏为行宪后第一任行政院院长，张厉生为行政院副院长。8月，蒋介石颁发《财政经济紧急处分令》，张厉生奉派为天津区经济管制督导员，负责华北地区推行发行金圆券、限制物价、收兑外币等财政紧急措施。但是不到三个月，限价政策等即全面破产，翁文灏内阁于11月26日引咎辞职，张厉生也随之离职。同年12月，孙科继任行政院长，张挂名为行政院政务委员。1949年1月，蒋介石“下野”，不久孙科内阁辞职，张厉生亦卸职。此后，张以国民党中央执行委员身份奔走于东南各地，后于1949年8月赴台湾。

张厉生到台湾后，即应陈诚之邀，出任“台湾省地方自治研究会”主任委员，主持制订了《台湾省地方自治实施纲要》，以及有关调整县市行政区域及县市议员选举罢免法案若干种。1950年3月，蒋介石在台湾“复职”，任命陈诚为“行政院”院长，张厉生为副院长。张在职四年，辅助陈诚进行“土地改革”，加强“地方自治”工作，以求稳固国民党在台湾的统治。这时蒋介石“改造”国民党工作完成，起用大批新人，但仍看重张厉生，于1954年8月任命他为国民党中央委员会秘书长。1959年张复受命出任台湾驻日本的“特命全权大使”，为维持台湾与日本的关系效力。1963年8月，日本内阁通过以贷款方式将价值2000万美元的维尼纶厂设备售与大陆。9月16日，日首相池田勇人在招待美国赫斯特报系总编辑时又说台湾的反攻大陆政策没有依据，近乎幻想。日本政府的这些言行，激怒了台湾当局，引起了日台间关系的紧张，张厉生以“回国述职”为名，回到台湾，未再返任。

张厉生从此退出政界，在台湾赋闲养志。他虽多年官高位显，但自律甚严，好学慎行，清廉淡泊，不置恒产，晚年生活甚为清苦，不仅无钱购屋居住，甚至医药费也无所出，多靠亲友及医师资助。1971年4月20日张厉生病逝于台北。