胡宗宪知道自己大展宏图的机会来了。他一方面招揽、重用各种杰出的人才，如重用俞大猷、戚继光等名将，把颇负盛名的文人徐渭招到自己的幕府中来；另一方面，有骁勇善战的将领，还得有训练有素的士兵，胡宗宪支持部下练兵，其中成就最大者当属戚继光训练的戚家军，后来发展为抗倭主力军。

嘉靖三十五年（1556年）八月，胡宗宪调兵进攻占据东沈庄的倭首徐海，倭寇穷凶极恶，保靖、河朔官兵先后为其所败。此时，胡宗宪“擐甲厉声叱永保兵左右列，大呼而入，瞰垒下击”，大败倭寇。同年十一月，倭兵侵犯会稽，报沈庄惨败之仇，来势凶猛，“官兵莫能御”，胡宗宪督促将领卢镗迎战，被他以士兵疲劳宜稍事休整为由拒绝，形势危急。宗宪不顾敌众我寡，“夜召亲兵袭破之，达旦，诸营方知，入贺，镗大惭服”。在抗倭战斗中，胡宗宪常“辄自临阵，戎服立矢石间督战”，置生死于度外。倭寇围杭州时，他又“亲登城监视，俯身堞外，三司皆股栗，惧为流矢所加，宗宪恬然视之”，展示了身为统帅的风范。

为使赏罚制度化，嘉靖三十八年（1559年）十月，胡宗宪规定死事诸臣为三等，“有功而又能死事者为一等，虽无功而能忠于所事者次之，勤无可录而事适不幸者又次之。其或失机偾事，虽身故仍须追夺官荫”。

在胡宗宪的抗倭斗争中，胡宗宪擒汪直、杀徐海，两浙倭患暂告平息。

至嘉靖四十一年（1562年），胡宗宪主持的抗倭斗争取得了前所未有的胜利，渐次平息浙江的倭患，并开始剿灭福建的倭寇。

嘉靖四十一年（1562年）五月，内阁首辅严嵩被罢官，其子严世蕃被逮。胡宗宪是由严嵩义子赵文华的举荐而屡屡升迁的，很多大臣的眼里，他属于严党。赵文华已死，严嵩失宠，胡宗宪的处境也就岌岌可危。这年年底，在新任内阁首辅徐阶的授意下，南京给事中陆凤仪就以贪污军饷、滥征赋税、党庇严嵩等十大罪名上疏弹劾胡宗宪。胡宗宪自然无力与其抗衡。王世贞曾说：“我知道胡宗宪的功劳，可他被徐阶所压制，不能表白他的冤屈。”

很快，世宗就下令将胡宗宪的一切职务悉数罢免，并将其逮捕押解进京。此时，胡宗宪已经站在了悬崖的边缘。陆凤仪弹劾他时所列举的罪名，任何一条都能定他个死罪。胡宗宪到京之后，世宗念其抗倭的功劳，改变了主意，降旨道：“宗宪不是严嵩一党，自任职御史后都是朕升用他，已经八九年了。而且当初因捕获王直而封赏他，现在如果加罪，今后谁为我做事呢？让他回籍闲住就好了”。掌握生杀大权的皇帝为胡宗宪网开一面，再次给了他一条生路。但是，胡宗宪的仕途终于到此为止了。嘉靖四十二年（1563年）春天，胡宗宪带着不甘回到了绩溪县的龙川故里。

胡宗宪本打算从此不问政事，在故里安享晚年。但是“树欲静而风不止”，胡宗宪的政敌们却不想罢手，他们在等待机会。嘉靖四十四年（1565年）三月，就在胡宗宪回乡快两年的时候，灭顶之灾从天而降。事情的起因还是离不开严氏父子。曾经协助胡宗宪抗倭的罗龙文犯罪被抄家，在对罗龙文抄家时，御史意外发现了胡宗宪被弹劾时写给罗龙文贿求严世蕃作为内援的信件，信中附有自拟圣旨一道。假拟圣旨，这次就是老天爷也救不了胡宗宪了。果然，世宗闻听此事后大怒，对胡宗宪降旨问罪。嘉靖四十四年（1565年）十月，胡宗宪再次被押赴至京。在狱中，胡宗宪写下万言的《辩诬疏》，为自己进行辩解。可是《辩诬疏》递交上去后，迟迟没有结果，胡宗宪无法忍受，嘉靖四十四年（1565年）十一月初三日，胡宗宪写下“宝剑埋冤狱，忠魂绕白云”的诗句后，自杀身亡，时年五十四岁。隆庆六年（1572年），朝廷为其平反。万历时，追谥襄懋。

嘉靖三十二年（1554年），胡宗宪针对倭寇“去来飙忽难测”、“海涯曼衍难守”，沿海地区随时可能遭受倭寇焚掠的情况，决定建立沿海防御系统。组织人员把沿海倭情、地理形势及抗倭措施编成《筹海图编》，指导抗倭斗争。“缮甲造舰”，修造战船千艘，多置火器，配备佛郎机、鸟铳、火炮、喷筒、火箭等，由俞大猷、戚继光分率巡洋。福建沿海设立哨兵，置烽火门、小埕、南日、浯屿和铜山五大水寨，派驻军队捍卫海岸。浙江沿海设海盐、澉浦、乍浦三大水寨，招募苍山、福清等船78只布列各港口，以四参将六总兵统之，“不拘警报有无，而亲出海洋，严督各总戮力用命，以遏海寇于方来”。明朝真正的水师就是从这时建立的。

嘉靖三十四年（1556年），额外增税，亩出兵饷一分三厘，加上其他名目众多的赋役征发和严厉的海禁，沿海居民“膏血为之罄尽”，生路断绝，部分百姓被迫加入倭寇行列。胡宗宪深感问题严重，他奏请朝廷宽限征收江南地区历年所欠加派、逋赋，并蠲免倭患重灾区钱粮。浙江省加派缎匹、工料等项银两，已达二十多万，户、工二部还催查历年逋赋。时任浙江巡抚的胡宗宪上疏请敕户部，将加派本省的缎匹等项一一查清，除国家急需者严督依限征解外。

在胡宗宪疏争下，明廷除因自然灾害对东南地区减免赋税外，又多次在倭害严重地区大规模蠲免钱粮。他还根据需要，随时裁减水陆官兵，以减轻百姓负担。嘉靖三十六年（1557年）十月，奏准裁去部分士卒及岁费银四十九万九千余两，有力地调动了广大民众的抗倭积极性。

嘉靖三十四年（1555年）正月，柘林倭寇犯乍浦、海宁，陷崇德县，杀死官兵多人。胡宗宪奏请“正失事诸人之罪”。巡抚、指挥、参将、把总以指挥无方，临阵脱逃，“各坐罪有差”。胡宗宪疏请对王鹏害数百姓其“宜重究以彰大戒者也”。对抗倭有功官吏则不次超擢。知县杨藏、千户周勇、监生乔镗等作战有功，“奖赏有差”。吏员吴成器“敢死善战”，“量改郡职”。唐顺之战功卓著，迁佥都御史。即使对同一人，亦赏罚分明。同年七月，倭寇攻破杭州北新关，提督李天宠贻误军机被胡宗宪弹劾。同年十月至十一月，倭寇分掠绍兴府各县，李天宠率军斩擒三百多人。胡宗宪上疏“请录巡抚都御史李天宠……等功”。

汪直、徐海长期以来在海上“南面称孤”，坐遣倭寇侵扰我东南沿海，为倭寇巨魁。胡宗宪不顾一些朝臣反对，决计剿、抚并施，铲除王、徐。他一面令戚继光、俞大猷痛击倭寇，一面派人到日本五岛招抚汪直。此时，日方因连年进犯我国，伤亡颇大，或“全岛无一归者”，怨声载道。汪直集团内部亦矛盾重重，他表示如明廷能免其罪并开放海禁，就可归附。嘉靖三十五年四月，徐海、叶麻与陈东率倭数万大举入犯，胡宗宪施离间计，倭寇自相擒杀。明军抓住时机，大败徐海、陈东部。徐海投河自尽，麻叶、陈东和辛五郎并斩于嘉兴。未几，势力日蹙的汪直从五岛西渡至定海，欲同徐海联合，但徐部已被剿灭，汪直进退维谷。胡宗宪即命戚继光“督健将埋伏数匝，水陆要害，星罗棋列，鱼鸟莫度”。同时，答应为汪直请封都官号，允许通商互市。汪直迫于官军“兵威甚盛”及利禄诱使，投降官府。至此，汪直、徐海部倭寇基本消灭，“两浙倭渐平”。

宗宪多权术，喜功名，因文华结严嵩父子，岁遗金帛子女珍奇淫巧无数。久之，以万寿节献秘术十四。帝大悦，将复用矣。会御史汪汝正籍罗龙文家，上宗宪手书，乃被劾时自拟旨授龙文以达世蕃者，遂逮下狱。宗宪自叙平贼功，言以献瑞得罪言官，且讦汝正受赃事。帝终怜之，并下汝正狱。宗宪竟瘐死，汝正得释。万历初，复官，谥襄懋。

胡宗宪主持的抗倭斗争，是他人生中最大的亮点。他所表现出的胆略和智谋的确可圈可点，称得上是一位能臣，也是一个不可多得的人才。但是他交结权贵、趋炎附势、挥霍无度，也使他的人品备受争议。世宗的为人行事一向不能以常理来推断，他给了这个问题一个简单干脆的答案，就是：能重用，但对曾经做错的事也要付出代价，尤其是触犯皇权的行为，更要严惩。世宗对胡宗宪屡次保全，让他尽展其才。胡宗宪大功告成之日，也就是他的厄运降临之时。

胡宗宪的死，虽然是政治斗争的结果，但是这也是他自己亲手埋下的祸根。困扰明王朝多年的倭患终于在胡宗宪的手中得到控制，这对胡宗宪的才干来说是最大的肯定，但他的为人的确不够光明磊落。首先，胡宗宪与赵文华及严氏父子有着千丝万缕的关系。其次，胡宗宪侵吞军饷、生活奢侈，好色，这是不争的事实。胡宗宪通过在浙江加派“提编”等额外税赋和请求留存浙江盐银等手段，聚敛了数额巨大的钱财，有“总督银山”之称。其中，有一些花费是用在招抚倭寇上。以胡宗宪微薄的俸银根本无法维持如此奢靡的生活，他的所作所为自然会引起朝中大臣们的非议。胡宗宪成为众矢之的，也就不足为怪了。

不过，明代官员贪污的非常多，虽说胡宗宪贪污的钱财有些用于抗倭斗争，有些用于与上级搞好关系，这也是应该考虑的。不过胡宗宪贪污数额确实过于巨大，加上严嵩一倒，无人保他，他厄运也确实该降临了。

胡宗宪在主持东南御倭战争期间，推荐戚继光任参将，俞大猷为胡宗宪部将。并允许戚继光招募新军，使戚家军成为浙江御倭的主力。胡宗宪听取幕僚徐渭（徐文长）的建议与策略，又以剿抚兼行及反间计，对汪直采用招抚策略，对徐海、陈东、叶麻等海盗首领采用剿灭的策略，利用徐海之妻王翠翘使其上岸投降，而后胡宗宪为了斩草除根，用反间计促使陈东杀死徐海，最后自己再将陈东处决。胡宗宪之后为了招抚汪直，让他去杭州旅游，但是却被死脑筋的御史王本固杀掉，胡宗宪面对倭寇的愤怒侵袭，只得采取战争手段。他使俞大猷、戚继光克岑港，又提拔戚继光，使他得以大展宏图，创造多次大捷。但他为减轻浙江压力，曾经有意放走倭寇，纵其寇掠福建，并嫁祸于俞大猷等，使他们蒙冤下狱。

相传，王翠翘被俘后曾向胡宗宪请求埋葬徐海，胡宗宪不许；请求去做尼姑，还是不许，而是要将她许配给一个小兵。王翠翘对胡宗宪说道：“你诛杀归顺的人，你把天道放在什么地方了？” 她面对大海痛哭，喊道：“明山，我辜负了你呀！”遂写诗一首，投水而死。她的诗写道：建旗海上独称尊，为妾投诚拜戟门。十里英魂如不昧，与君烟月伴黄昏。

龙川胡宗宪尚书府，坐落在安徽绩溪龙川村中央，从胡宗宪至胡氏“炳”字辈共12代人曾在此居住。尚书府是古徽州迄今保存结构最为复杂的明代建筑群。

阮仪三评价：从善堂“尚书府非常典型反映了徽州建筑的一个重要特点，也反映了当时具有浓厚文化底蕴的这种特殊家族，建筑做得很细节，细部做得很精致，可以左顾右盼，处处生景，是徽州保护最好的古建筑。

清光绪《余姚县志》记载，胡宗宪平倭寇后，还复莅余姚受降。余姚百姓感念胡宗宪收胜归山、平息倭患等种种功绩，于嘉靖四十年在城内龙泉山上建“三锡祠”，世代祭祀不绝。又于胜归山南麓山崖雕凿胡宗宪像，上刻“胡公殿”三字，虽经数百年风风雨雨，石像仍栩栩如生。但见胡公头戴乌纱帽，身穿朝服，左手捋须，右手伏案，身子略微前倾，如在公堂上办公断案一般，民间称之“胡公岩”。

此后至民国时期，以胡公像为中心，周围又陆续雕凿了14尊佛教造型，石像附近的石壁上，又雕凿了许多先贤名句、文人诗词，字体、大小各异，蔚为壮观，使得胡公岩成为浙东地区摩崖石刻最为集中的地方。

1981年6月，余姚县人民政府公布胡公岩摩崖石刻为县级文物保护单位。2005年3月升级为省级文物保护单位。