弘治十八年（1505），考中进士。

正德元年（1506），任清丰知县。因执法得罪刘瑾，被打入诏狱，数次濒临死亡。

刘瑾被诛，得到释放，历任吏部文选司郎中。正德十四年（1519），明武宗南巡，张衍瑞与同僚上谏阻止，杖刑三十，贬谪平阳府同知。

嘉靖初年，召还，复职，擢太常寺少卿。一年以后，去世，赠太仆卿。