弘治十七年（1504年），顾潜再次因为京城附近地区的灾变，率领众位官员上朝跪奏，讨论时政问题，提出了八点建议：“一是裁减和革除那些通过不正当手段升官或请求升迁的官员；二是约束外戚家族，禁止他们仗着皇帝的宠爱而肆意横行；三是禁止镇守内臣随意请求超越常规的待遇；四是禁止有权有势的家庭私自役使军匠；五是禁止镇守内臣收受贿赂，进行不正当的交易；六是罢免那些在职不尽责的官员；七是减少各库中不急需的钱粮支出；八是限制内臣过多地携带随从和役使。”这些言辞非常恳切，明孝宗都一一辨析并采纳了。光禄少卿祝祥因为依附外戚而得到美差，太常寺卿崔志端则因为道士的身份而多次升迁，直至礼部尚书，顾潜便率领众位官员上书弹劾他们，两人相继被罢免，朝廷的纲纪因此得到了整肃。

同年五月，顾潜因学识和品行被选中，奉命提督北直隶学校。他慷慨激昂地将敦促士人学风、培育人才视为自己的责任，秉持公正，严格管理，毫不宽贷。在此之前，顺德、永平等地的士人大多对学问缺乏了解，顾潜便挑选其中聪慧优秀的学生，命令地方官府资助他们到京城，跟随名师学习。这一举措使得士风焕然一新，培养出了许多有成就的人才。在评定学生学业水平时，顾潜尤为精确公正，一时间，他门下的学生往往能在仕途上有所作为，声名远扬。当时的士人称赞顾潜的学政工作得体，认为他具有陈选、张悦的风范。

正德元年（1506年），顾潜向明武宗上疏进言：“陛下初登大宝，应当崇尚敬畏之心，戒除安逸享乐之欲，任用德高望重的老臣，摒弃奸佞幸进之徒。我恳请陛下命令儒臣们考求唐代宰相宋璟所献的《无逸图》以及宋代孝宗皇帝所集的《敬天图》，加以缮写后呈献给陛下，以便陛下能时常审阅，时刻提醒自己。”然而，这份奏疏并未得到回应。顾潜作为御史，任职期满，经过部院考核，其政绩均被评为上上之选。当时的吏部尚书许进在选拔官员上非常慎重，那一年中，顾潜被许进推荐担任大理寺丞一次，推荐担任按察副使四次，但这些推荐都未得到朝廷的批准。

正德三年（1508年）冬，顾潜被任命为四川马湖知府，但还未赴任，便因不符合当时的规章制度而被免去了官职。当时，宦官刘瑾专权，那些坚守正道、不屈不挠的士大夫们往往遭受打压和排挤。刘瑾的党羽刘宇进入吏部任职后，他的儿子担任了京城附近的知县，前来拜见顾潜时，顾潜未能曲意逢迎，因此得罪了刘宇，并因此被刘瑾所倾轧。

正德五年（1510年），刘瑾倒台，兵部侍郎陈玉、黄珂，以及御史谢琛、华珩、沈霁等人联名上奏，推荐顾潜复职，然而最终还是因为制度上的阻碍，未能成功，顾潜也未能再次被起用，当时的舆论都为此感到惋惜。

晚年，顾潜开始与家乡的士大夫们结社交往，每年定期举行宴会，共赏山水之美，享受林泉之乐。他尤其乐于提携后进，因此，那些年轻的后辈们都对他的风采充满敬仰之情。顾潜非常注重子女的教育，他曾收集整理古今的格言警句以及可作为鉴戒的历史往事，亲手抄录下来给子女看，让他们明白应该追求什么、避免什么。当他的儿子顾梦圭进入官场时，他特地写信告诫，勉励他要秉持仁爱、公正、勤勉、谨慎这四项原则，信中言辞恳切，多达数百字，充分展示了他对子女教育的重视和期望。

嘉靖九年（1530年），顾潜的儿子顾梦圭在南京吏部任职，恰逢朝廷举行郊祀大典，颁发了广泛的恩典，顾潜也因此被加封为中宪大夫。在封赏的诏书中，特别提到了顾潜曾因抵制奸臣而未能充分发挥其才能，这些话也间接地证明了顾潜的清白和忠诚，使得他内心的真实想法和行为得到了应有的认可。

嘉靖十三年三月二十六日（1534年5月8日），顾潜在家中安然辞世，享年六十四岁。顾潜临终前留下的遗训是，不做佛事，祭葬一切都按照朱熹制定的家庭礼仪进行。他还作诗留给诸子，并与亲友诀别。

顾潜为官十余年，其政绩颇丰，主要如下：

顾潜的文章风格典雅、内容纯正，以理为核心。初为官时，所写多为反映现实之作，如《次王巡江韵四首》（其一）：“春晚啼莺犹恰恰，岁饥游客正寥寥”，又如《泣猫者说》中以鼠喻贪残之胥吏，以猫喻捕鼠的宪臣督查，但是“不捕之讥而且类于同眠之”，讽喻之色彩呼之欲出。被贬之后，顾潜的文风诗风大转，体会到的是“人情冷暖闲偏觉，世味酸甜老更谙”，其诗文创作中蕴藏陶渊明式的田园归隐之韵味。

方鹏评其文章云：“发而为文，词严义正，格高意古，读之如承师保之训，有恭敬之心焉。及其晚年诸作，则又纡徐委备，尽乎人情而切于物理，读之者如听宫商之宣有感，发为心焉！”方氏所评主要是针对顾潜散文文风。顾潜为文推崇唐宋八大家，他曾经在倡导八股文写作时就提出：“作文贵乎纯正明白，戒用尖新险怪之语。又须博学强记，《四书》《五经》之外，旁及诸子诸史，并唐韩柳、宋欧苏曾王诸家之文，庶几临文资取不穷，或用其事，或师其意，或仿其格，无不可者。”这是顾潜为当时举子写作时文所提的要求和推荐的书目，说明八大家之文符合八股文的写作规范，不过也从侧面反映出他的文风宗法八大家。

方鹏：先生貌肃而礼恭，行方而言间，望之若孤崖峭壁凛不可犯，即之若雨竹霜桧寒色可掬。（《静观堂稿序》）

吕柟：公端慤不苟……自奉身补，俭如寒素……则公之显于言青者，此非其本手。（《中宪大夫马湖知府桴斋顾公墓表》）

王同祖：公存心制行，表里如一，尝著《慎独箴》，朝夕观省。居家阃阈肃然，虽家人父子间，不妄笑语。持己严毅方正，凛不可犯。燕居无事，如临大宾。然其中实温和乐易，略无町畦。是故舆之游者，皆敬而爱之。性不好佚游，罕与宴会。（《明故马湖府知府诰进中宪大夫桴斋顾公行状》）

顾潜自从少年时代束发成人步入仕途，便以远大的志向自我期许。然而，他却因忤逆时势，受到压抑和排挤，未能充分施展其才华和抱负。因此，他自号为“桴斋”，以此表达他明知志向难以实现，却仍坚守志向的决心。到了晚年，他被玉峰西严的优美景致所吸引，又自号为“西严居士”。

顾潜自幼便展现出端庄诚笃的品性，言行举止皆严谨不苟。十六岁那年，他的母亲周氏离世，他悲痛欲绝，远超常人所能承受的限度。步入仕途后，因未能及时奉养双亲而深感遗憾，每次归家，必在父母墓前痛哭流涕。侍奉祖父母时，他竭尽孝道，无微不至。在京师的十多年间，每当得到皇帝的赏赐或是精美的衣物、珍馐美味，顾潜都会小心翼翼地封存起来，带回家中献给双亲。正德四年（1509年）罢官后，他在宅邸南侧开凿池塘、堆叠假山，以此陪伴并取悦父亲，每日邀请宾客前来饮酒对弈，共享天伦之乐，确保父亲不为家事所累，得以安享晚年，直至十二年后安详辞世。顾潜对待家中的兄弟姐妹及晚辈，总是充满关爱与温情。

日常生活中，顾潜严于律己，生活简朴，饮食不求奢华，衣物不尚华丽。然而，在祭祀祖先、修缮祠堂墓地以及宴请宾客时，他则力求丰盛洁净，展现出对传统的尊重与虔诚。他还常设粥棚，救济饥民，展现出深厚的慈悲之心。对于族中及邻里中那些年老贫困者，顾潜不仅提供邻近的房舍供其居住，还时常赠送蔬菜米粮等生活必需品。对于死后无钱安葬者，他更是慷慨解囊，赠送棺材。当得知顾尚书之墓被村民非法侵占时，他立即上报官府，严惩肇事者，并亲自监督恢复墓地的原貌。

顾潜曾出资修筑了巴城湖堤，极大地便利了常熟、昆山等地商旅的往来。面对吴中地区长期存在的田粮户役弊端，他多次向官府提出改革建议，并推动实施，为民众带来了实实在在的利益。顾潜一生乐善好施，济人利物的事迹不胜枚举，深受人们的敬仰与爱戴。

顾潜著有《静观堂稿》《续稿》《读史新知》《林下纪闻》《湖堧醉歌》《昆山志》《玉峰文献录》《惇使梦林》等，共计若干卷，都珍藏于家中。