至元元年（1264），张文谦以中书左丞行省西夏（今宁夏、甘肃和内蒙古部分地区），整顿吏治，兴学重教，积极传播汉地先进文化，使西夏落后、鄙野的羌俗为之一变。在西夏时，张文谦还支持郭守敬对唐徕、汉延等大小数十条渠道进行疏浚修复，万余顷土地得到灌溉，西夏再现“塞北江南”的景象。

至元七年（1270），元朝中央设司农司（后改称大司农司），张文谦以参知政事兼任司农卿，下设四道巡行劝农司，掌管劝课农桑、水利、乡学、义仓等事。这些农官巡行各地，劝保农桑，指导生产，不几年，功效昭著，野无旷土，栽植之利遍天下，有力促进了元初经济的恢复和发展。

至元十三年（1276），元朝灭南宋，统一天下后，张文谦以昭文馆大学土身份领太史院事，全面负责制定历法的工作。王恂、 郭守敬等人在张文谦的支持、领导下，率南北日官在全国范围内进行了空前规模的四海测验，掌握了大量准确的天文数据，于至元十七年（1280）编订完成了当时世界上最先进的《授时历》，将我国古代天文学推向了一个高峰。

张文谦祖居沙河盖里（今沙河市葛村），其父张英为避兵乱携带家南迁到邓之南阳（今河南邓县），文谦即出生于南阳。三岁时随父母返回老家，在家乡又遇战事，遂逃往西山避难。有次夜间突然追兵来到，同行者有弃婴舍子仓皇逃命者，而文谦父母不顾危险抱着文谦终于逃脱。时局稍稳后，张英到州中谋到了一份管军资库的差事，文谦有了读书识字的机会。为了早日帮父母养家渡日，文谦开始学习比较实用的文书簿册之类。父亲发现后让其为了“远大之业”而攻读儒家著作。张文谦与“年相若、志相得”的刘秉忠等人就读于邢州西部的紫金山。附儒家经典外，还研习天文、地理及算筹之法。文谦十分聪敏，几年间，学业大进。元太宗十年（1238），赴试大名府中选，被免去了家中的徭役之差。

张文谦后经刘秉忠推荐，入忽必烈幕府，深受忽必烈赏识，遂入仕，历官至枢密副使。而张文谦也不忘向忽必烈推荐人才。其所推荐的郭守敬，不仅在兴修水利颇有建树，而且参与编订了当时世界上最先进的历法，元世祖忽必烈取古语“敬授民时”之意，定名为《授时历》。《授时历》以365.2425日为一岁，距近代观测值365.2422仅差26秒，精度与现通用之公历即《格列高里历》相当，但却早了300多年。

张文谦卒后，葬于沙河葛村西边之祖茔，有翰林待制、直学士李谦写的神道碑。后葬其子张晏（官至御史中丞）时，将其墓迁到至邢台市西的董村，有奎章阁学士、翰林待制虞集撰写的张氏新茔记。现两处墓地均已不存。

碑称他“为人谦恭笃实，慈祥乐易，自奉若寒士”，无他嗜好，《元史·隐逸列传》记载其“唯聚书数万卷而已。”过世时，家无余财，有书数柜，传之子孙。

《元史》卷一百五十七有张文谦传，其全文如下：

张文谦，字仲卿，邢州沙河人。幼聪敏，善记诵，与太保刘秉忠同学。世祖居潜邸，受邢州分地，秉忠荐文谦可用。岁丁未，召见，应对称旨，命掌王府书记，日见信任。邢州当要冲，初分二千户为勋臣食邑，岁遣人监领，皆不知抚治，征求百出，民弗堪命，或诉于王府。文谦与秉忠言于世祖曰：“今民生困弊，莫邢为甚。盍择人往治之，责其成效，使四方取法，则天下均受赐矣。”于是乃选近侍脱兀脱、尚书刘肃、侍郎李简往。三人至邢，协心为治，洗涤蠹敝，革去贪暴，流亡复归，不期月，户增十倍。由是世祖益重儒士，任之以政，皆自文谦发之。

岁辛亥，宪宗即位。文谦与秉忠数以时务所当先者言于世祖，悉施行之。世祖征大理，国主高祥拒命，杀信使遁去。世祖怒，将屠其城。文谦与秉忠、姚枢谏曰：“杀使拒命者高祥尔，非民之罪，请宥之。”由是大理之民赖以全活。己未，世祖帅师伐宋，文谦与秉忠言：“王者之师，有征无战，当一视同仁，不可嗜杀。”世祖曰：“期与卿等守此言。”既入宋境，分命诸将毋妄杀，毋焚人室庐，所获生口悉纵之。

中统元年，世祖即位，立中书省，首命王文统为平章政事，文谦为左丞。建立纲纪，讲明利病，以安国便民为务。诏令一出，天下有太平之望。而文统素忌克，谟谋之际，屡相可否，积不能平，文谦遽求出，诏以本官行大名等路宣抚司事。临发，语文统曰：“民困日久，况当大旱，不量减税赋，何以慰来苏之望？”

文统曰：“上新即位，国家经费止仰税赋，苟复减损，何以供给？”文谦曰：“百姓足，君孰与不足！俟时和岁丰，取之未晚也。”于是蠲常赋什之四，商酒税什之二。二年春，来朝，复留居政府。始立左右部，讲行庶务，巨细毕举，文谦之力为多。三年，阿合马领左右部，总司财用，欲专奏请，不关白中书，诏廷臣议之，文谦曰：“分制财用，古有是理，中书不预，无是理也。若中书弗问，天子将亲莅之乎？”帝曰：“仲谦言是也。”

至元元年，诏文谦以中书左丞行省西夏中兴等路。羌俗素鄙野，事无统纪，文谦得蜀士陷于俘虏者五六人，理而出之，使习吏事，旬月间簿书有品式，子弟亦知读书，俗为一变。浚唐来、汉延二渠，溉田十数万顷，人蒙其利。三年，还朝。诸势家言有户数千，当役属为私奴者，议久不决。文谦谓以乙未岁户帐为断，

奴之未占籍者，归之势家可也，其余良民无为奴之理。议遂定，守以为法。五年，淄州妖人胡王惑众，事觉，逮捕百余人。丞相安童以文谦言奏曰：“愚民无知，为所诳诱，诛其首恶足矣。”诏即命文谦往决其狱，惟三人坐弃市，余皆释之。

七年，拜大司农卿，奏立诸道劝农司，巡行劝课，请开籍田，行祭先农先蚕等礼。复与窦默请立国子学。诏以许衡为国子祭酒，选贵胄子弟教育之。时阿合马议拘民间铁，官铸农器，高其价以配民，创立行户部于东平、大名以造钞，及诸路转运司，干政害民，文谦悉于帝前极论罢之。

十三年，迁御史中丞。阿合马虑宪台发其奸，乃奏罢诸道按察司以撼之，文谦奏复其旧。然自知为奸臣所忌，力求去。会世祖以《大明历》岁久浸差，命许衡等造新历，乃授文谦昭文馆大学士，领太史院，以总其事。十九年，拜枢密副使。岁余，以疾薨于位，年六十八。

文谦早从刘秉忠，洞究术数；晚交许衡，尤粹于义理之学。为人刚明简重，凡所陈于上前，莫非尧、舜仁义之道。数忤权幸，而是非得失，一不以经意。家惟藏书数万卷。尤以引荐人材为己任，时论益以是多之。累赠推诚同德佐运功臣、太师、开府仪同三司、上柱国，追封魏国公，谥忠宣。

长子晏，仕至御史中丞，赠陕西行省平章政事，封魏国公，谥文靖。