祖士衡少孤，博学有文，为李宗谔所知，妻以兄子。杨亿谓刘筠曰：“祖士衡辞学日新，后生可畏也。”举进士甲科，授大理评事、通判蕲州，再迁殿中丞、直集贤院，改右正言、户部判官。未几，提举在京诸司库务，迁起居舍人、注释御集检阅官，遂知制诰，为史馆修撰，纠察在京刑狱，同知通进、银台司。

天圣初，以附丁谓，落职知吉州。言者又以在郡不修饬，复降监江州税。士衡儿时过外家，有僧善相，见之，语人曰：“是儿神骨秀异，他日有名于时，若年过四十，当位极人臣。”年三十九，卒于官。