建宁公主为清太宗皇太极的十四女，在顺治十年（1653年）时下嫁给了平西王吴三桂的儿子吴应熊，随后不久就陆续晋封为和硕长公主、和硕建宁长公主，后改为和硕恪纯长公主。而这座府邸在当时也被称为驸马府。 　康熙十四年（1675年），吴三桂反叛清廷，吴应熊及其子吴世霖被处死，只剩下建宁公主在这座大宅院里形单影只。清康熙四十三年（1704年），建宁公主在其63岁时离开了人世。而这宅子却被当时的老北京人称之为“凶宅”，说“夜里能听到丝竹之声，还夹杂着年轻女人幽怨的吟诗声”；而另一版本是说在此“曾是吴三桂的住宅，陈圆圆的芳魂几百年来都在此游弋”。现如今想来，这估计都是和建宁公主悲惨的一生有关吧

这座古宅，要是再往前推，则可追溯到明朝初年。在明初时是常州会馆。明末时为崇祯皇帝的岳父，大学士周延儒的住宅。清兵入关后，此宅就划归建宁公主所有。之后雍正二年（1724年），朝廷设左右二翼宗学，作为皇室贵族子弟学校，其右翼宗学即设在此处。相传曹雪芹就曾在这里作过短期教习。乾隆九年（1744年），右翼宗学迁往绒线胡同，旧址则被赏赐给大学士裘日修作为住宅。当时纪晓岚的《阅微草堂笔记》中记载过该宅闹鬼。 　乾隆后期，此宅又被赐给了乾隆长子定亲王永璜之子镇国公绵德（乾隆四十二年封为镇国公），后绵德在乾隆四十九年晋封为贝子。保存至今的府邸就是当时清朝的贝子府的规制。清末，该府由其后人毓祥继承，因此此处又被称为“祥公府”。