元文遥敏慧夙成，济阴王元晖业每云：“此子王佐才也。”晖业尝大会宾客，有人将《何逊集》初入洛，诸贤皆赞赏之。河间邢邵试命文遥，“诵之几遍可得？”文遥一览便诵，时年十馀岁。济阴王曰：“我家千里驹，今定如何？”邢云：“此殆古来未有。”

起家员外散骑常侍。遭父丧，服阕，除太尉东阁祭酒。以天下方乱，遂解官侍养，隐于林虑山。武定中，文襄（高澄）征为大将军府功曹。北齐受禅，于登坛所受中书舍人，宣传文武号令。杨遵彦每云：“堪解穰侯印者，必在斯人。”后忽被中旨幽执，竟不知所由，如此积年。文宣（高洋）后自幸禁狱，执手愧谢，亲解所著金带及御服赐之，即日起为尚书祠部郎中。孝昭（高演）摄政，除大丞相府功曹参军，典机密。及践祚，除中书侍郎，封永乐县伯，参军国大事。及帝大渐，与平秦王高归彦、赵郡王高睿等同受顾托，迎立武成帝即位，任遇转隆，历给事黄门侍郎、散骑常侍、侍中、中书监。天统二年，诏特赐姓高氏，籍属宗正，子弟依例岁时入朝。再迁尚书左仆射，进封宁都郡公、侍中。