1906年出生于神奈川县，藤原七清华家之一的公爵西园寺家的嫡长子。其父西园寺八郎系长州藩末代藩主毛利元德之子，过继过元老西园寺公望为养子。

分别就读于学习院初等科、东京高等师范学校附属中学（现筑波大学附属中学、高中），后留学英国，1930年毕业于英国牛津大学。二战中因参与佐尔格事件而获刑。

战后，创编《世界画报》。1947年成功当选参议院议员。1955年代表日本出席在奥地利举办的世界和平大会。因其为中日民间交流打开了窗口，因此被称为中国的民间大使。

1958年，全家移居中国，担任日中文化交流协会常务理事等职，是中日邦交正常化实现之前民间交流的先驱。1958年加入日本共产党。1970年8月回到日本。