明崇祯元年（1628）进士，改翰林院庶吉士。累官詹事府少詹事。

顺治元年（1644），在北京降清，授原官，不久改任翰林院侍读学士，掌管院事，赐鞍马。顺治二年（1645），迁国史院学士，不久任《明史》编修副总裁。顺治五年（1648），升礼部左侍郎，丁母忧，奉旨在京守制。顺治九年（1652），擢升礼部尚书，侍宴中和殿，赐貂皮朝衣。顺治十年（1653），因总兵任珍案，徇私附和，降三级留任。顺治十二年（1655），以疾乞休，顺治帝慰留之，加太子太保。

顺治十三年（1656），副都御史魏裔介、广东道御史焦毓瑞弹劾胡世安受大学士陈之遴委托，推荐其同乡安肃令沈令式为知府，沈令式为人庸劣；不久，总督李荫祖又弹劾胡世安结党营私，胡世安部议罚俸一年，革去太子太保，降三级任用。顺治十四年（1657），任经筵讲官。顺治十五年（1658），任武英殿大学士，兼兵部尚书。顺治十六年（1659）加太子太保，不久加少傅兼太子太傅。