孝宗惩创绍兴权臣之弊，躬揽权纲，不以责任臣下，栗言：“人主莅权，大臣审权，争臣议权，王侯、贵戚善挠权者也，左右近习善窃权者也。权在大臣，则大臣重；权在迩臣，则迩臣重；权在争臣，则争臣重。是故人主常患权在臣下，必欲收揽而独持之，然未有能独持之者也。不使大臣持之，则王侯、贵戚得而持之矣；不使迩臣审之，争臣议之，则左右近习得而议之矣。人主顾谓得其权而自执之，岂不误哉。是故明主使人持权而不以权与之，收揽其权而不肯独持之。”至有“以鹿为马、以鸡为鸾”之语。方奉对时，读至“人主常患权在臣下，必欲收揽而独持之”，孝宗称善，栗徐曰：“臣意尚在下文。”执政有诉于孝宗曰：“林栗谓臣等指鹿为马，臣实不愿与之同朝。”乃出知江州。

有旨省并江州屯驻一军，栗奏：“辛巳、甲申，金再犯两淮，赖江州一军分布防托，故舒、蕲、黄三州独不被寇。本州上至鄂渚七百里，下至池阳五百里；平时屯戍，诚哲无益，万一有警，鄂渚之戍，上越荆、襄，池阳之师，下流增备，中间千里藩篱，诚为虚阙。无以一夫之议，而废长江千里之防。”由是军得无动。

以吏部员外郎召。冬至，有事南郊，前期十日，百执事听誓戒；会废节，有旨上寿不用乐，迨宴金使，乃有权用乐之命。栗以为不可，致书宰相，不听，乃乞免充举册官，以状申朝廷曰：“若听乐则废斋，废斋则不敢以祭。祖宗二百年事天之礼，今因一介行人而废之。天之可畏，过于外夷远矣。”不听。

兼皇子庆王府直讲，有旨令二王非时招延讲读官，相与议论时政，期尽规益。栗以为不可，疏言：“汉武帝为戾太子开博望苑，卒败太子；唐太宗为魏王泰立文学馆，卒败魏王。古者教世子与吾祖宗之所以辅导太子、诸王，惟以讲经读史为事，他无预焉。若使议论时政，则是对子议父，古人谓之无礼，不可不留圣意。”

除右司员外郎，迁太常少卿。太庙祫享之制，始祖东向，昭南向，穆北向，别庙神主祔于祖姑之下，随本室南北向而无西向之位。绍兴、乾道间，懿节、安穆二后升祔，有司设幄西向。逮安恭皇后新祔，有司承前失，其西向之位，几与僖祖相对。栗辨正之。

除直宝文阁、知湖州。栗朝辞，曰：“臣闻汉人贾谊号通达国体，其所上书至于痛哭流涕者，考其指归，大抵以一身谕天下之势。其言曰：‘天下之势方病大瘇。非徒瘇也，又苦〈足炙〉灸盭。又类辟，且病痱。’臣每见士大夫好论时事，臣辄举以问之：今日国体，于四百四病之中名为何病，能言其病者犹未必能处其方，不能言其病而辄处其方，其误人之死，必矣。闻臣之言者不忿则默，间有反以诘臣，即对之曰：今日之病，名为风虚，其状半身不随是也。风者在外，虚者在内，真气内耗，故风邪自外而乘之，忽中于人，应时僵仆，则靖康之变是也。幸而元气犹存，故仆而复起，则建炎之兴是也。然元气虽存，邪气尚盛，自淮以北皆吾故壤，而号令不能及，正朔不能加，有异于半身不随者乎，非但半身不随而已，半身存者，凛凛乎畏风邪之乘而不能以自安也。今日论者，譬如痿人之不忘起，奚必贤智之士，然后与国同其愿哉，而市道庸流，口传耳受，苟欲尝试以售其方，则荡熨针石，杂然并进，非体虚之人所宜轻受也。闻之医曰：‘中风偏废，年五十以下而气盛者易治。盖真气与邪气相敌，真气盛则邪气衰，真气行则邪气去。然真气不充满于半存之身，则无以及偏废之体。故欲起此疾者，必禁其嗜欲，节其思虑，爱其气血，养其精神，使半存之身，日以充实，则阳气周流，脉络宜畅，将不觉舍杖而行。若急于愈疾而不顾其本，百毒入口，五脏受风，风邪之盛未可卒去，而真气之存者日以耗亡，故中风再至者多不能救。’臣愚有感于斯言，窃谓贾谊复生，为陛下言，无以易此。”

知兴化军，又移南剑，除夔路提点刑狱，改知夔州，加直敷文阁。夔属郡曰施州，其羁縻郡曰思州。施民谭汝翼者，与知思州田汝弼交恶，会汝弼卒，汝翼帅兵二千人伐其丧。汝弼之子祖周深入报复，兵交于三州之境，施、黜大震。汝翼复缮甲兵，料丁壮，以重币借兵诸洞，而乞师于帅府。栗曰：“汝翼实召乱者。”移檄罢兵，乃选属吏往摄兵职，以渐收汝翼之权。命兵马钤辖按阅诸州，密檄至施，就摄州事。汝翼不之觉，已乃皇遽遁入成都。事闻，孝宗亲札赐栗及成都制置使陈岘曰：“田氏犹是羁縻州郡，谭氏乃夔路豪族，又且首为衅端，帅阃不能弹压，纵其至此。如尚不悛，未免加兵，除其元恶。”时汝翼在成都，闻之逃归，调集家丁及役八砦义军，列陈于沱河桥与官军战，溃，汝翼遁去，俘其徒四十有三人，获甲铠器仗三万一千。栗取其巨恶者九人诛之。田祖周由是惧，与其母冉氏谋献黔江田业，计钱九十万缗以赎罪，蛮徼遂安。

既而汝翼入都诉栗受田氏金，诏以汝翼属吏，省札下夔州。栗亲书奏状缴还，并辨其事。上大怒。会近臣有救解者，寻坐栗身为帅臣，擅格上命，镌职罢归。既而理寺追究，事白，贷汝翼死，幽置绍兴府。

居顷之，诏栗累更事任，清介有闻，复直宝文阁、广南西路转运判官，就改提点刑狱，又改知潭州。除秘阁修撰，进集英殿修撰、知隆兴府。召对便殿，奏乞仿唐制置补阙、拾遗左右各一员，不以纠弹为责。从之。除兵部侍郎。朱熹以江西提刑召为兵部郎官，熹既入国门，未就职。栗与熹相见，论《易》与《西铭》不合。至是，栗遣吏部趣之，熹以脚疾请告。栗遂论：“熹本无学术，徒窃张载、程颐之绪余，为浮诞宗主，谓之道学，妄自推尊。所至辄携门生十数人，习为春秋、战国之态，妄希孔、孟历聘之风，绳以治世之法，则乱人之首也。今采其虚名，俾之入奏，将置朝列，以次收用。而熹闻命之初，迁延道途，邀索高价，门生迭为游说，政府许以风闻，然后入门。既经陛对，得旨除郎，而辄怀不满，傲睨累日，不肯供职，是岂张载、程颐之学教之然也，缘熹既除兵部郎官，在臣合有统摄，若不举劾，厥罪惟均。望将熹停罢，姑令循省，以为事君无礼者之戒。”

上谓其言过当，而大臣畏栗之强，莫敢深论。太常博士叶适独上封事辩之曰：“考栗之辞，始末参验，无一实者。其中‘谓之道学’一语，无实最甚。盖自昔小人残害良善，率有指名，或以为好名，或以为立异，或以为植党。近忽创为‘道学’之目，郑丙唱之，陈贾和之。居要路者密相付授，见士大夫有稍务洁修，粗能操守，辄以道学之名归之，殆如吃菜事魔、影迹犯败之类。往日王淮表里台谏，阴废正人，盖用此术。栗为侍从，无以达陛下之德意志虑，而更袭郑丙、陈贾密相传授之说，以道学为大罪。文致言语，逐去一熹，固未甚害，第恐自此游辞无实，谗言横生，善良受害，无所不有，愿陛下正纪纲之所在，绝欺罔于既形，摧抑暴横以扶善类，奋发刚断以慰公言。”于是侍御史胡晋臣劾栗，罢之，出知泉州，又改明州。奉祠以卒，谥简肃。

栗为人强介有才，而性狷急，欲快其私忿，遂至攻诋名儒，废绝师教，殆与郑丙、陈贾、何澹、刘德秀、刘三杰、胡纮辈党邪害正者同科。虽畴昔论事，雄辩可观，不足以盖晚节之谬也。

仓猝扶宗社，艰危启圣神。

英雄归驾御，狂狡愿和亲。

泛扫妖氛净，恢张治化新。

倦勤三纪外，头白尽遗民。

周汉中兴胜，唐虞内禅高。

髀消从马腹，屣脱等鸿毛。

弓剑悲长在，羹墙慕转劳。

龙髯攀莫及，四海共唿啕。

兼爱无南北，全能冠古今。

典坟供夜览，烽火自宵沉。

睿藻成章焕，宸钧寓意深。

万年垂琬琰，谁识至仁心。