至元二十三年（1286年），他当面向忽必烈提出：“首先应兴建国学，请求派遣使者到江南去，搜访遗逸。御史台、按察司都应参酌使用南北之人。”忽必烈欣然同意了。次年，立尚书省，忽必烈下诏以他为参政政事，他一再推辞。忽必烈计划任命他为御史中丞，台臣说：“程钜夫是个南人，况且年轻，不可重用。”忽必烈大怒说：“你没有用过南人，怎么知道南人不可用。自今省部台院都必须参插用南人。”于是程钜夫仍以集贤直学士职，加拜侍御史台事，不久，朝廷派他奉诏往江南一带徵访贤能。

起初，书写诏令都是用蒙古文字，自决定派人到江南搜访遗逸以后，忽必烈特地命令可以用汉字书写诏令。临行时对程钜夫说：“早就听说赵孟頫、叶李二人有名望，请务必招此二人来。”程钜夫到江南以后，除招致二人进京外，又举荐了余惩、万一鄂、张伯淳、胡梦魁等二十余人，均一一安排了台宪及文学之职。程钜夫回到朝廷后，将他在民间所看到的治政利病上奏给忽必烈，希望朝政有所改进，这在客观上，有利于阶级矛盾的缓和。由于推荐南人出仕的措施与他礼贤好士、兴儒重文的态度与行动，大大缓和了蒙汉之间的民族矛盾，也使蒙人逐渐接受了汉人的高度文化。后来元朝廷能够恢复科举、编修图书等文教事业，莫不与程钜夫的意见有关。

至元二十六年（1289年），丞相桑哥专权，法令苛急，四方骚动。程钜夫时任江南行台御史，他毅然入朝上疏，请求弹劝桑哥。他面见忽必烈，直言：“臣听说天子之职，最重大的事就是选择宰相。宰相之职，最重要的事就是迸贤任能，如果不以进贤为急务，只是用心事在增殖财货上，这就不是为上为德、为下为民之意。从前汉文帝向相国周勃问及刑狱与钱谷事，周勃回答不出来。汉文帝不悦，陈平上前说道：刑狱事应问廷尉，钱谷事应问治粟内史。因为宰相要上理阴阳，下顺万物之宜，对外镇抚四夷，对内亲附百姓。这是宰相的职责。从陈平的言论中，可知宰相的职责是什么了。今权臣执政，立尚书省专门搜求钱粮，以剥削百姓为职责。所任用的人，都是贪婪图利之人。江南之所发生乱事，正是由于这个原因。臣认为应该清查尚书的政绩，削弱行省的权力，罢黜开口只谈利益的官僚，对百姓进行抚恤，只有这样才于国有利。”桑哥闻知大怒，将他竭留京师，不放回江南，并六次奏请杀他，忽必烈均未准许。

至元三十年（1293年），程钜夫出任闽海道肃政廉访使。他兴办学校，注重教化，一时僚吏畏其严明的法纪，百姓爱戴这位慈善的长官。

大德四年（1300年），调任江南湖北道肃政廉访使。到任后，首先就整治了行省平章事家中一个祸害百姓的家奴，引起了震动，一时上下法纪肃然。其时，他注意选拔人才。如龙兴富城（今江西丰城）人揭傒斯，刻苦好学，这时正在漫游湘汉，程钜夫听说有这样一位好学的年轻人，立即召见他，诵其诗文，大加赞赏，经他推荐，揭傒斯出任国史编修官，累官至翰林侍讲学士，并在文史方面颇有成就。

大德八年（1304年），程钜夫被拜为翰林学士，参与中书省议事。

大德十年（1306年），因天旱时又突起风暴，星象有变。程钜夫应诏奏陈弭灾除害之策，他提出敬天、尊祖、清心、持体、更化五条。成宗认为很正确，加以采纳。其时云南省臣提出：世祖曾亲征云南，民众愿意在点苍山刻石以纪功德。成宗便令程钜夫撰文。

大德十一年（1307年），程钜夫任山南江北道肃政廉访使，复留为翰林学士。成宗崩，他奉命修《成宗实录》。

至大元年（1308年），《成宗实录》修成。次年，至上都（今内蒙古正蓝旗东北闪电河北岸）。

至大三年（1310年），程钜夫复任山南江北道肃政廉访使，调任浙江东海右道肃政廉访使，留为翰林学士承旨。

皇庆元年（1312年），主修《武宗实录》。

皇庆二年（1313年），程钜夫应诏上奏陈桑林六事，触件宰相意。次日，仁宗派近臣去安慰他说：“中书省集议，惟卿所言最恰当，以后望畅所欲言，不须顾忌。”于是诏程钜夫与平章政事（宰相）李孟一同议政。参知政事许师敬欲推广贡举法，程钜夫建议“经学当主程颐、朱熹传注”，“文章宜革唐宋宿弊”。于是，仁宗命令程钜夫起草诏令推行其主张。

皇庆二年（1313年）三月，程钜夫以老病求致仕还乡，末获准许。诏令由太医给药物治疗，安排他儿子程大本为郊祖署令，以便就近侍养。并时时派近臣去看望他，安慰他说：“卿乃是世祖旧臣，惟忠惟贞，其勉加餐粥，只是要稍留京师，以宽肤心。”后见他态度坚决，仁宗才同意。行前特授程钜夫光禄大夫，赠上尊称号，命廷臣以下官员至大都齐化门外饯别，并令行省等对程钜夫经常加以慰问。

程钜夫先后得到世祖、成宗、武宗、仁宗四位皇帝的倚重，是元朝信任、重用的少数南方籍官员之一。被元世祖忽必烈封齐王。

延祐五年七月十八日（1318年8月14日）亥时，程钜夫去世，享年七十岁。

泰定二年（1325年），泰定帝追赠程钜夫为大司徒、柱国、楚国公，谥号“文宪”。

程钜夫为四朝元老，四十余年间出入显要，朝廷典册多出其手，是元代前朝最主要的文臣之一。他以平易正大之学，振文风，作士气，为朝野视为楷模。《四库总目提要》一书中对程钜夫及其文章评价很高，赞誉他“宏才博学，被遇四朝，忠亮鲠直 ”，“文章亦舂容大雅，有北宋馆阁余风”，“其诗亦磊落俊伟，具有气格……古诗落落自将，七言尤多遒警。当其合作，不减元祐诸人”（指苏东坡、司马光、黄庭坚等人）。

因病在家乡五年，他写了不少诗文颂扬家乡风物。其中《游麻姑山》中写道：“步人千峰紫翠间，清都境界异尘寮。龙鳞老木冰霜操，鸟爪仙人玉雪颜。台树古碑荒薛合，族幢微影白云间。丹成鸡犬飞腾久，空想丹炉炼火还。”格调高而不泛，情韵永而不匿。可见他有诗才，借为政事所累而名不彰。

程钜夫善书法，《书史会要》称其“字体纯正，下笔暗合书法，亦工大字”。

忽必烈：朕观此人相貌，已应贵显；听其言论，诚聪明有识者也。可置之翰林。（《元史》引）

爱育黎拔力八达：卿世祖旧臣，惟忠惟贞，其勉加粥，少留京师，以副朕心。（《元史》引）

宋濂：巍巍世祖，度越百王。义声神威，抚壹宇疆。公起佐之，仗义激昂。咸韶皇度，衮冕宪章。乘传来南，绣衣焜煌。王札牛溲，药笼并藏。出而医王，小大毕张。吐握见贤，如渴得浆。虽居銮坡，不异庙堂。以顺为明，以柔居刚。式宪且文，于烨其光。（《国朝名臣颂》）

程敏政：观元之君，其贤者，盖莫如世祖。然犹徇其国俗，内亲而外踈，抑儒而尚吏，重北而轻南。虽鲁斋先生许文正公之言，然后汉人获齿蒙古，儒者获与吏偕进。既又得文宪公而用之，然后南人获齿汉人，典章文物，焕然一新。而元之俗，不纯于质野，治不传于吏胥，盖文正、文宪两公之力，见于史者可考也。若文宪公词翰之妙，则其功行论建之绪余耳，然在当时，片纸寸墨，人已知爱重之。（《题雪楼遗墨后》）

顾嗣立：钜夫仪状峻伟，音吐如钟。少与吴文正公同门，遭时革命，宠遇优渥，历事中外者逾四十年。...虞文靖公谓宋季士习卑陋，以时文相尚。病其陈腐，则以奇险相高，江西尤甚。公之在朝，以平易正大之学，振文风，作士气。今代古文之盛，实自公倡之。（《元诗选》）

柯劭忞：程钜夫条时政得失，事核而词直，虽文采不耀，然切有之言也。遭遇世祖，事多施行江南，新附之民，实被其泽，仁言利溥，信矣哉！（《新元史》）

赵孟頫因程钜夫的举荐而入仕元朝。程钜夫辞官归家时任翰林学士承旨，朝廷命赵孟頫接替他任职。赵孟頫就任后，先去拜谒程钜夫，然后再入翰林院视事，此事被当时士大夫传为佳话。

父亲：程翔卿（1221-1295），字於道，名应龙。1276年授朝列大夫、管军总管。因子贵累赠光禄大夫、大司徒、柱国、楚国公。去世后谥号孝肃。

母亲：李氏，后被追封为楚国夫人。

叔父：程飞卿

夫人：俞氏

程钜夫曾主修《成宗实录》《武宗实录》。著有《雪楼集》45卷（今存30卷），包括函诏制册文10卷，序记书文15卷，还有部分诗歌集，内容丰富，资料翔实精当，有很高的史料和文学艺术价值，为治元史者所经常引用。清江标《宋元名家词》本《雪楼乐府》一卷，凡五十五首，《全金元词》又据《永乐大典》补一首。

揭傒斯《行状》（《雪楼集附录》）

危素《神道碑》（《危太朴文续集》卷二）

程世京《雪楼程先生年谱》（《雪楼集》卷首）

宋濂等《元史·卷一百七十二·列传第五十九》

柯劭忞《新元史·卷一百八十九·列传第八十六》