起家于左常侍、卫军参军。仕东晋，先后为天门太守、桓伟安西长史、南平太守，后辞官居作唐县。桓玄篡位，屡召不就。桓玄被平后，被刘裕启用为车骑从事中郎、徐州治中从事史、征西将军、烈武王刘道规咨议参军。入为中书侍郎，转黄门侍郎，不拜。仍除刘裕太尉从事中郎，出为吴兴太守，寻征为侍中。宋国(指南朝宋)建，为度支尚书，迁太常。

刘裕受禅，补宣训卫尉，加散骑常侍。永初中(421年)，迁吏部尚书。元嘉三年(426年)，为尚书左仆射。元嘉六年，迁尚书令，固让，表求还东。宋文帝不能改变其志，改授他为侍中、特进、左光禄大夫。元嘉十二年，征为太子少傅，固辞不拜，东归。元嘉十六年，宋文帝再次以他为左光禄大夫，开府仪同三司，不拜。

元嘉二十四年(447年)，死于余杭之舍亭山，时年八十八。升明三年(479年)，追谥文贞。少清高，性恬静，喜山水。任天门太守之初，妻弟、荆州刺史桓玄写信让他到荆州去，他只把妻子送去，让其姐弟团聚，自己在天门“恣其游适，意甚好之”。晚年辞官归会稽，屡征召不授，盖因“所居舍亭山，林涧环周，备登临之美”，故时称为“王东山”。