胡善祥为济宁人，永乐十五年选入皇太孙妃，此后为皇太子妃。宣宗即位后立为皇后。当时孙贵妃有宠，而胡皇后无子，又经常生病。孙贵妃出身邹平，和明成祖皇后徐氏的母亲彭城伯夫人是同乡，因此关系孙氏十岁时被召入宫中，由徐皇后养育。之后在替宣宗议婚时，将胡善祥选为皇太子妃、孙氏为嫔。明宣宗即位后，封孙氏为贵妃。孙贵妃于宣德二年生下明宣宗长子，即后来的明英宗，因此孙贵妃眷宠益重。宣宗欲废胡善祥而立孙贵妃为皇后。

次日，宣宗召见杨士奇、杨荣到西角门，问商议结果。杨荣从怀中取出一纸，列出皇后过失二十事，均为诋毁，称：“以此可以废后了。”宣宗看了其中两三件事后，就艴然变色道：“你们这样诬陷，难道宫庙无神灵就看不到了么？”对杨士奇说：“你怎么看？”杨士奇答道：“汉光武帝废后，诏书曰：‘异常之事，非国休福。’宋仁宗废后，后来非常后悔。希望陛下谨慎。”宣宗不悦，于是命两人退下。此后又一天，宣宗召问杨士奇，杨士奇说：“此事皇太后必然有主张。”宣宗称：“和你们商议，这本就是皇太后之意。”后又一日，宣宗独自在文华殿召见杨士奇，问应当如何处置。杨士奇于是问：“胡皇后与孙贵妃相处如何？”宣宗说：“非常和睦亲爱。但是我看重皇子，而皇后病重不宜子，故欲正其母以区别。现在皇后生病多月，贵妃经常看望，慰藉甚勤。”杨士奇进言道：“现在可趁其生病，而劝导其辞让皇后位。于是进对都为礼仪，而恩眷亦不衰。”宣宗颔首表示赞同。几天后，宣宗再次召见杨士奇，称：“你所说的主张非常好，皇后欣然辞职。孙贵妃不接受，太后亦尚未听辞。然而皇后仍然坚持辞去。”杨士奇道：“若如此，希望皇上您对待两位相同。当年宋仁宗废郭后，而对郭氏恩意加厚。”宣宗赞同并说：“我不会食言的。”于是此议论遂定。