辄叹其清淡。转太子中庶子，本州大中正，迁司徒左长史。吏部尚书袁粲言于帝曰：“臣观张绪有正始遗风，宜为宫职。”复转中庶子，领翊军校尉，转散骑常侍，领长水校尉，寻兼侍中，迁吏部郎，参掌大选。元徽初，东宫罢，选曹拟舍人王俭格外记室，绪以俭人地兼美，宜转秘书丞，从之。绪又迁侍中，郎如故。

绪忘情荣禄，朝野皆贵其风。尝与客闲言，一生不解作诺。时袁粲、褚渊秉政，有人以绪言告粲、渊者，即出绪为吴郡太守，绪初不知也。迁为祠部尚书，复领中正，迁太常，加散骑常侍，寻领始安王师。升明二年，迁太祖太傅长史，加征虏将军。

齐台建，转散骑常侍，世子詹事。建元元年，转中书令，常侍如故。绪善言，素望甚重，太祖深加敬异。仆射王俭谓人曰：“北士中觅张绪，过江未有人，不知陈仲弓、黄叔度能过之不耳？”车驾幸庄严寺听僧达道人讲，座远，不闻绪言，上难移绪，乃迁僧达以近之。寻加骁骑将军。欲用绪为右仆射，以问王俭，俭曰：“南士由来少居此职。”褚渊在座，启上曰：“俭年少，或不尽忆。江左用陆玩、顾和，皆南人也。”俭曰：“晋氏衰政，不可以为准则。”上乃止。四年，初立国学，以绪为太常卿，领国子祭酒，常侍、中正如故。绪既迁官，上以王延之代绪为中书令，时人以此选为得人，比晋朝之用王子敬、王季琰也。绪长于《周易》，言精理奥，见宗一时。常云何平叔所不解《易》中七事，诸卦中所有时义，是其一也。