何遵幼年家贫，父亲命其经商，何遵不愿，成为儒生。

正德八年（1513）举人，正德九年（1514）进士，吏部尚书陆完闻其名，使子弟从学。及选台谏，何遵托病推辞说：“不可因人进也。”

正德十一年（1516），授工部主事。次年，榷木荆州。下令税自百金以下减三之一，风涛败赀者勿算。入算者手实其数自识之，藏于郡帑，数日一会所入。等到何遵离任时，不私一钱。

成化十四年（1519），明武宗准备南巡，以进香东岳为词。何遵抗言：“淫祠无福。万一宗藩中借口奉迎，潜怀不轨，则福未降而祸已随。”意指朱宸濠。诸权幸见上疏，阻止勿进。此时，黄巩等已得罪，何遵复与同官林大辂、蒋山卿上疏乞罢南巡，极言江彬怙权倡乱。黄巩等无罪，愿特宽宥，毋使后世有杀谏臣名。明武宗大怒，下诏狱，廷杖四十。创甚，肢体俱裂，二日后，四月十九日卒于邸舍，年仅三十四。家贫，僚友帮助收殓归葬。十二月二十四日，葬于江宁安德乡梅山村之原。