正统十三年（1448）进士。

景泰初年，擢监察御史。受命前往北畿、河南、山东、山西清理马政。按察密云不轨之徒。按察宣府、大同，有都御史之子犯法，按其罪，并劾其父罢之。宣府将佐多冗，请分置独石诸边归总诸道。巡临清，按治豪猾，余党悉散。

天顺年间，任江西按察司副使，风裁清肃，吏不敢欺。升任江西按察使，有赣州贼作乱，张蓥因捕获功，赐白金彩币。升任陕西左布政使，督运边饷，用不告乏。

成化三年（1467），以右副都御史，巡抚宁夏。宁夏城，土筑，张蓥始甃以砖。道河流，溉灵州屯田七百余顷。率兵行边与贼战，归所虏男妇及牛羊器械，赐勑褒谕。满四叛乱，王师出固原，张蓥劾守将致变者，置之法。时宁夏属地多永乐所置降虏，朝廷虑其为变，公受密勑抚之。以父丧去。服除，起复巡抚河间诸府，值久旱，给民牛种，俾不废业，复承勑勾稽戎籍，王师出宣府，督军饷如陕西。改任巡抚大同，历任刑部左侍郎、右侍郎。