宣光政变时期，权臣元乂幽废灵太后。胡虔时为千牛备身，与备身张车梁等谋杀元乂。事发，元乂诛杀张车渠等，将胡虔坐远徒。灵太后返政后，征为吏部郎中。

胡太后好以家人礼与亲族宴戏，胡虔常常致谏，由是太后宴谑多不预焉。出为泾州刺史，封安阳县侯。

兴和三年，以帝元舅，超迁司空公。薨于家中，赠太傅、太尉公、尚书仆射、徐州刺史，谥号为宣。葬日，百官会葬，乘舆送于郭外。