菲利普·安德森出生于印第安纳波利斯并且在伊利诺伊州的厄巴纳度过他的童年。 1940年他从厄巴纳的高级中学毕业。 之后他跑到哈佛大学完成了的学士学位并进入研究所。 在约翰·凡扶累克的指导下学习物理。 战争期间，安德森曾在美国海军研究实验室待上一段时间。

1949年到1984年，安德森任职于新泽西的贝尔实验室，广泛地研究了凝聚态物理的许多问题。 这段期间他发现了局部化（Anderson localization）的概念； 写下了安德森哈密顿算符以描述过渡金属系统中的电子。 另外他还建议粒子物理学家寻找产生粒子质量的机制（后来所谓的希格斯机制）； 发展了超导体BCS理论中的计算方法。 1963年，安德森被选为美国文理科学院院士。

1967年到1975年，安德森在剑桥大学担任理论物理学的教授。 1977年，由于“对磁性和无序体系电子结构的基础性理论研究”他与内维尔·莫特、约翰·凡扶累克一同获得了诺贝尔物理学奖。 这个研究为电子元件开关与记忆的技术提供了理论基础，对于后来电脑发展有重要贡献。 1982年他获得了美国国家科学奖章。 自1984起，他从贝尔实验室退休，到了普林斯顿大学主持约瑟·亨利物理教授席位。