正德四年（1509年）四月，因编纂完成《明孝宗实录》，明武宗赏赐徐缙十两银子以及一套纻丝衣物。

正德九年（1514年）五月，明武宗命徐缙担任副使，参加持节册封。

正德十一年（1516年）七月，徐缙任职九年期满，按例晋升，明武宗提升他为翰林院侍读。

正德十二年（1517年）八月，徐缙与礼部尚书李逊学、修撰杨慎上疏进言：“在过去，君主轻率行动，无故出游，往往会有意料之外的悔恨。如今上天赐予的大明江山在陛下手中，祖宗传下来的皇位也在陛下手中，两宫太后的孝顺和抚养在陛下身上，臣民的庇护也依赖陛下，陛下怎能不慎重对待呢？即使是普通的百姓，到百里之外去，也还要带上衣服裘皮来抵御寒暑，佩带弓刀以防备盗贼。陛下却暴露于风雨之中，毫不顾惜自己，这是我们这些臣子所不解的。陛下刚开始谋划这次出行时，京城内连续几个月大雨，等到车驾到昌平，京城整日大风扬尘，这不是偶然的，大概是上天出于对陛下的仁爱，想要阻止陛下的出行。人言或许不值得一听，但天意难道不值得敬畏吗？周穆王远游四海，结果有《祁招》之诗来规劝。汉武帝深夜微服出行，结果有被逆旅侮辱的遭遇。这些前车之鉴不远，希望陛下能深思熟虑。”明武宗没有回应。

正德十六年（1521年）七月，明世宗举行首次御经筵的礼仪，提拔徐缙等人兼任经筵官。

嘉靖元年（1522年）九月，徐缙因守父丧返回原籍，援引讲读官员的惯例，请求给驿马以便回家，被批准了。

嘉靖四年（1525年）五月，徐缙守丧期满，恢复了原职。

嘉靖四年（1525年）六月，因为《明武宗实录》完成，明世宗赏赐徐缙白银二十两、文绮二表里、罗衣一套。不久，升任司经局洗马。

嘉靖六年（1527年）六月，徐缙升为詹事府少詹事，掌管翰林院事务。十月，徐缙升为礼部右侍郎，经筵日讲仍旧。

嘉靖七年（1528年）三月，徐缙改任吏部右侍郎，经筵日讲如故。十月，徐缙奏请内府书籍，于是明世宗赐给他《四书书传大全》一部。闰十月，徐缙三品未满考，援引温仁和、董玘的先例，请求赐予诰命，明世宗因其讲读有功，特准赐予。

嘉靖八年（1529年）二月，徐缙因为灾害和异象出现而自我陈述并请求退休，明世宗没有允许，命令他继续像往常一样供职。

嘉靖九年（1530年）十二月，明世宗提升徐缙为本部左侍郎，仍负责经筵日讲。

嘉靖十年（1531年）闰六月，都察院历事监生詹摐上奏：“吏部侍郎徐缙，因私废公，不忠于朝廷。他因接受贿赂而迅速提拔知府喻茂坚，因是门生而多次提拔知县萧一中，因是亲戚的缘故而偏袒庇护武库司郎中伍余福。”明世宗说：“朝廷下诏允许监生纠察所经历的衙门，奸恶之人早已习闻此令，真正的知情者不容欺瞒，才不辜负祖宗设立历事监生的初衷。詹摐所奏之事，都察院应当公正勘查核实后上报，倘若有虚假妄奏，则依法惩治。”徐缙随后上疏自证清白，并交由都察院详细审查。詹摐被询问时语塞，都御史汪鋐等人上奏詹摐欺君狂妄的情况，明世宗已下旨拟罪。

詹摐再次妄陈，说最初上疏时通政使陈经曾泄露给徐缙，徐缙于是让伍余福通过兵部员外郎吴道南来行贿谄媚。然而吴道南是詹摐的同乡，与伍余福同朝为官。詹摐还曾微服进入庙市，私自役使五城弓兵，做了许多不法之事，汪鋐极力斥责其狂妄。徐缙也上疏辩解，否认詹摐所说之事，并交由都察院处理。恰逢有人偷偷将状纸投入大学士张孚敬的府邸，张孚敬发现后，封存了状纸，上奏了徐缙行贿之事。徐缙申诉自己确实不知此事，怀疑是帮助詹摐的人诬陷他。明世宗大怒，认为徐缙欺瞒朝廷，汪鋐也说徐缙虽然愚昧，但不应至此，请求密令厂卫调查事实真相，同时会同官员在朝廷上审讯，以便分辨真伪。

明世宗说：“你是宪臣之长，应当秉公执法，詹摐固然无赖，徐缙也不是清廉正直的人。詹摐所指控的事情虽然不尽属实，但也并非全然没有，你不奏请依法追查，只听信下属官员，附和回护，现在又持两端、繁琐地上奏，这不是大臣侍奉君主的正确方式。况且历事监生，朝廷曾多次下诏让他们进言，现在不可首先治罪于他们。詹摐先前所奏及徐缙通贿之事，需公正审讯后上报。”

给事中赵廷瑞、管怀理等人，随后弹劾汪鋐反复无常、不忠于朝廷，既收买了詹摐的心，又暗中为徐缙开脱，应当罢免以警戒不法之徒。汪鋐也自行请求引退，御史徐汝圭则说：“詹摐奸恶，在乡里素来为人们所不齿，往年他曾营求报讣差，假借官职伪造印章，被当地官府发觉，追捕未果。”于是法司和锦衣卫会审后，证实了徐缙贿赂张孚敬之事，而詹摐挟私诬告，还有其他许多私罪。伍余福所犯的罪行也有状词，于是他们准备了判决书，请求定罪。明世宗对徐缙说：“依法应当重治，但念及你过去的功劳，将你罢黜为民。”

徐缙去官回乡后，修筑了介福堂专心侍奉母亲，选择了一处山角作为长久的居所，纵情于山水之间，将心思寄托在琴声和史书中，仿佛要在此度过余生。他饮酒作诗，不再关心时事。

嘉靖二十四年（1545年），徐缙去世，享年六十七岁。

嘉靖二十七年（1548年），徐缙得朝廷赐葬，诏赠礼部尚书，谥号“文敏”。

在政治方面，徐缙不仅尽职尽责，还曾上疏进言，提出对明武宗出游的谏议，表现出他的忠诚和责任心。尽管在嘉靖十年（1531年）因被指控受贿而遭遇风波，但最终得以澄清并保留了部分官职。

徐缙创作的诗歌涉及四言古诗、五言古诗、七言古诗和律诗、绝句等多种类型，其中七言诗歌较多，就内容而言，则是交游方面的唱酬、送别、赠谢、宴集所占的比例更大，也有怀乡、节日等。他的诗歌有复古的倾向，学习汉魏和唐，平衍是其最大的特点，语言和感情都没有大起大落，有些诗歌有明显的摹写痕迹。他的诗歌语言虽然平衍，表达的情意颇真。其擅长五言诗，五律尤为突出，声调谐畅，属对工稳，如《春日忆李子》《赠薛君采》等诗作。陈田《明诗纪事》评其诗云：“文敏五字诗，音节浏亮，颇近边华泉（贡）”。

徐缙的散文涉及的种类很多，以序文、记文和为他人所创作的墓志铭墓碑墓表行状为主，内容既有写人亦记事，他的记事散文对于事件的描写，不失文采又能够简洁清晰有条理地将事情从头到尾叙述清楚，其中以对当时的历史事件崇明之乱的描述为典型代表，层层推进，谋篇布局易理顺，条理分明。

明世宗朱厚熜：缙亦非清介士。（《明世宗实录》引）

王鏊：西山乃有是儿邪。（《同治苏州府志》引）

李梦阳：知我者，邺郡司成崔子、吴郡少宰徐子也。（《明江西按察司副使空同李公墓表》引）

徐祯卿：嗟尔同行子，及此荃蕙馥。（《岁除贻廷实太常子容同年》）

严嵩：嵩获交于公四十年，视若弟，昆谊不得辞。（《封太淑人王氏墓碣铭》）

何景明：忆卿翻飞霄汉里，结交岂少青云士。眼中何人最知己，十年之交吾与李。（《醉歌赠子容使湖南便道归省兼讯献吉》）

袁袠：已邈寝筵，犹设赤舄，朝遗华轩，暮税生荣死哀，冥灵庶慊，敬奠清酤。肾肠如裂，呜呼哀哉！（《祭少宰徐师文》）

皇甫汸：我闻徐少宰者，先朝之良佐，兹邦之贤达也。（《皇甫司勋集》）

徐缙有《徐文敏公集》五卷留于世，在《明别集丛刊》第2辑第23册中，是明隆庆二年吴郡徐氏刻本。根据《七十二峰足征集》《太湖备考》的记载，徐缙还著有《经筵讲义》六卷，现已不存于世。

关于徐缙去官为民，相关史料的记载中共有五种说法。

第一种说法为因严嵩事被夺职。《七十二峰足征集》记载：“后坐严分宜事，夺职。寻复官，致仕归。”嘉靖二十一年（1542年年），徐缙之母去世，第二年严嵩为其作《封太淑人王氏墓碣铭》，此时严嵩加少保、太子太保、礼部尚书兼武英殿大学士入阁，掌礼部事宜，一直以来可谓圣宠优渥。而徐缙去世的嘉靖二十四年（1545年），严嵩仍在职，直到嘉靖四十四年（1565年）严嵩才被削官还乡，此时徐缙已去世20年，从时间上来讲，这种说法不具有可信度。

第二种说法为彭泽为得徐缙之职位指使詹摐攻讦徐缙。《林居漫绿》卷三畸集：“嘉靖初，彭泽为文选郎，以贪纵入察籍，而素韬永嘉，得留用，躐迁太常。而徐崦西以少宰署部事，泽欲代其位，嗾门客詹摐以选法不公劾之。泽伪作崦西书贻永嘉，求解愿以黄精二百斤白蜡二百斤为寿永嘉。以闻，乃下崦西诏狱削籍。”据《明史》卷一百九十八所载，彭泽于嘉靖元年（1522年）被夺官为民，此后在家中郁郁而终，所以从时间来看，此说的可信度也不高。

第三种说法为汪鋐指使詹摐攻讦。《太湖备考》：“时陆粲疏劾执政，都御史汪铉嗾太学生詹摐讦粲为缙所指，下御史台。捃摭无所得，夺职免归。”众方志皆延续了这种说法。

第四种说法为詹摐挟私诬罔。《明世宗实录》卷一百二十五记载，嘉靖十年（1531年），都察院历事监生詹摐上奏弹劾徐缙徇私不忠，收受贿赂，因利益的关系让知府喻茂坚迅速升职，让他的门生萧一中累迁知县，包庇亲戚武库司郎中伍余福。皇帝要核查此事，徐缙上疏为自己辩白，并下督察院。都御史汪铉等人上疏说詹摐欺骗皇帝，詹摐再次上疏，表示“初上疏时通政陈经，尝泄于徐缙，缙乃使伍余福，托兵部员外吴道南，以贿韬。己道南者启乡人，与余福同官。及微服入庙市，私役五城弓兵，诸不法事，鲮力斥其妄。”徐缙再次上疏申辩并无此事。后有人偷偷给大学士张孚敬投递书信，张孚敬打开后发现是告发徐缙行贿，便将书信上奏给皇帝。徐缙再次上疏，“诉已实不知，意助柴者中伤臣也”。皇上要求一一核勘这些事情，汪铉避嫌，给事中赵廷瑞、管怀理弹劾汪鋐反复不忠，并收买了詹柒，暗地里要阴徐缙。法司及锦衣卫问证徐缙行贿张孚敬的事情，而詹摐挟私报复，“而启挟私诬罔，其他私罪甚多”。明世宗念及徐缙经筵日讲的旧日功劳，将他罢黜为民。《明通鉴》卷五十五的记载与《世宗实录》的记载大致相同。

第五种说法为张孚敬趁机陷害一说。陆粲为徐缙的门生，上疏弹劾张孚敬，遭到张孚敬的记恨。故而在詹摐攻讦徐缙私事时，张孚敬上本参徐缙，《万历野获编》卷七载：“适有监生詹摐者，恨缙，因讦其私事，人皆不直綮。而永嘉忽参缙，谓其夜以刺投入，开具黄精白蜡诸珍异，比索其人，则并贿俱逃去矣。上信之，下之都察院。时汪荣和掌院，如永嘉所指，即欲实徐罪，具回疏劾徐，陷以重辟。赖史鹿野（道）为佥院力诤，谓事涉暧昧，不可悬坐。汪大怒，并史语奏之。上始悟，徐得闲住去。”

以上说法虽不同，然而除了第一种之外，均记载有詹摐攻讦徐缙之事，且有多篇记载与之相吻合，此事比较明确。第三、第四、第五种说法均指向于张孚敬和汪鋐陷害徐缙。据《明史》卷二百六，陆粲确实上疏言张孚敬与桂萼专擅朝事之事，上疏后“帝大感悟，立下诏暴璁、萼罪状，罢其相”。张孚敬若因此事与陆粲结仇确有可能。而其后事件发生时的诸多细节目前还无佐证可考，如詹摐是否受人指使，黄精白蜡的贿赂究竟是献给张孚敬还是有人告发。然而无论是詹摐挟私攻讦抑或是受人指使，徐缙因此事去官为民则是不争的事实。

《明孝宗实录》卷222~《明世宗实录》卷127部分