嘉靖十一年（1532），丁外艰，服除，改任河南右布政使。

嘉靖十五年（1536），转任河南左布政使。同年冬，升任右副都御史、山东巡抚。历任总河。

嘉靖十六年（1537），进阶通议大夫。

嘉靖十八年（1539），荫一子入国子监。改任河南巡抚。同年冬，因开封衙门失火，引咎辞职。

嘉靖二十九年（1550），明世宗南巡承天府，胡缵宗曾以事鞭打阳武知县王联。王联后为巡按御史陶钦夔弹劾罢官。王联生来凶顽狡诈，曾殴打其父王良，判处死刑。后来，因王良的请求出狱。又坐杀人，求解不得。王联知道明世宗喜欢告发，于是造谣胡缵宗的迎驾诗“穆王八骏”语为谤诅。王联说胡缵宗曾向他索贿，被他拒绝，于是命属下陶钦夔弹劾罢免他，罗织成大辟。王联等到冬至这天，令其子假装为常朝官，尾随进入阙门喊冤。凡所不悦，包括副都御史刘隅，给事中鲍道明，御史胡植、冯章、张洽，参议朱鸿渐，知府项乔、贾应春等一百一十人，皆陷害其中。明世宗大怒，立刻遣官捕捉胡缵宗等下狱，命刘讱与法司严讯。刘讱等尽得王联诬陷的罪状，仍判处王联死刑，其子诈冒朝官，按律斩首，而为胡缵宗等请求赦免。明世宗听从法司上奏，判处王联父子死刑，然心怀恨胡缵宗，颇多诘问斥责，下礼部、都察院参议。严嵩为胡缵宗说情，于是革除胡缵宗职务，杖四十。

《辛巳集》、《丙辰集》各四卷，《鸟鼠山人小集》八卷，《拟汉乐府》二卷、《拟西涯古乐府》、《家谱》各一卷，《安庆志》三十卷，《秦安志》二卷，《巩郡记》三十卷，《秦州志》三十卷，《春秋本义》十二卷。