龙朔二年（662年）冬十月，其子许自然因猎射时侵犯了他人的田地，田主上前阻止，许自然大怒，用响箭向田主射击。因为此事，许圉师用家法杖责许自然一百下，却没有奏报此事，田主到司宪大夫杨德裔处控告，却没有得到受理，许敬宗的党羽派人将此事报告给唐高宗李治，李治非常生气，召许圉师责问说：“你身为宰相就残暴地对待民众，是要作威作福吗？”面对皇帝的质问，许圉师在殿前抗辩说：“臣身居高位，只能公正侍奉皇帝，难免遭人攻讦。臣下又不掌兵，何来‘作威作福’一说。”此番对答惹得李治更加生气，许敬宗乘机说：“人臣如此，罪不容诛”，李治当即命人将许圉师赶出，并下诏免了他宰相一职。加之权臣李义府的排挤，十一月，许圉师下狱。

龙朔三年（663年）三月，李治体恤许家旧功，下令释放许圉师，将其贬出京城，外放为虔州（今江西赣州）刺史，杨德裔因徇私被流放庭州（今新疆天山山脉东部），许圉师的儿子许文思、许自然，一并免职。

出任虔州刺史不久，许圉师又转任相州刺史（今河南安阳）。许圉师在相州时，对待百姓宽厚、施政仁和，对待犯事的下属，也是攻心为上，力避严刑。麟德二年（665年），高宗封禅泰山，要求各州举荐人才。乾封元年（666年），高宗下旨认为各州官员多有年老体弱，不能治事之人，又斥责许圉师举荐之人才学品格不足，许圉师遂引咎去职。在他离开相州后，当地百姓纷纷为其立德政碑，以表彰他的各种美德仁政。

咸亨四年（674年），许圉师已被调回京城，迁左丞。上元二年（675年）八月，再迁户部尚书。

仪凤四年（679年），许圉师病死，唐廷追赠幽州都督，谥号“简”，并允其陪葬恭陵。

隋朝结束分裂割据，统一了全国。到隋炀帝时，南方与北方礼制逐渐融合成全新的礼制，唐初多承炀帝之制而略有发展，太宗一朝制定了《贞观礼》。许圉师精通典制，是高宗一朝《显庆礼》（又名《永徽五礼》）编撰的主要参与者。《显庆礼》在《贞观礼》基础上整理调整而来，该书不仅是高宗一朝重要的礼书，之后唐朝的礼书多在这两部礼书上折中发展而来，而且其影响甚至可能经由遣唐使流入日本，影响日本礼制。此外，他还参与《高宗实录》的编撰，一定程度上促进唐初史学活动的繁荣，亦是后人唐书的参考资料。

许圉师在京外任职期间，为政宽厚，力避严刑，多有惠政，深得民心，这为唐初地方经济的复苏和安定局面的形成是有一定贡献的，在高宗后期，酷吏之风渐开的情形下，也是有一定积极意义的。

许圉师有文采，博闻广识，因而还参与《瑶山玉彩》《芳林要览》等文集的编撰修订，《瑶山玉彩》卷帙浩大，达五百卷，在文学性质的类书上，有着楷模的作用。《芳林要览》是一部选取优美诗句的总集类书，其对声律的关注，自是不言而喻的。这些文集不仅受到当时文人的推崇，影响唐诗律化进程，还对于唐朝前期以及前朝的文史保存有着积极意义。

许圉师在文艺上颇有见解，对于书法，笔力是构成书法美感的重要方面，但力度不是书法美的唯一标准，许圉师认为魏晋已来后唯二王的书法值得称道，然而王羲之多力而少妍，王献之多妍而少力，提出书法要注意力度与妍美的关联追求，力与妍的平衡。

《旧唐书》记载江淮俚语对其评价：“贵如许（圉师）、郝（处俊），富若田、彭（志筠）。”

唐西台侍郎上官仪在《册许圉师左相文》中评价他：“箕峰构势，横渚派源，干业峻其家风，象贤益其门庆。神机朗照，灵府洞开，识宗三箧，敏该韦佩。列干云敷，升汉台而协彩；挥毫波偃，悬魏帐而均辉。习武经文，绸缪于丹扆；履忠蹈义，悱恻于元墀。石室兰房，彯华缨而振迹；通闱纶阁，飞若绶而盱衡。扬历群能，执钧伊寄。”

唐朝政治家、史学家杜佑在《通典》中《礼》篇的序中认为许圉师是“朝有典制可酌而求者”之一。

明清思想家王夫之：若宇文节、柳奭、崔敦礼、辛茂将、许圉师……魏玄同者，皆节不足以守筦库，才不足以理下邑，或循次而升，或一言而合，或趋歧径而诡遇，竞相踵以赞天工。

许圉师刚刚升为左相不久，他的的儿子许自然出去游荡打猎时，践踏破坏农田庄稼，地主愤怒阻止，许自然竟然还用响箭向他射击。许圉师听说后，仅只打许自然一百棍，却没有奏报皇帝，地主前往司宪控告，司宪大夫杨德裔搁置不理。西台舍人袁公瑜命人捏造一个假名，呈递“亲启密奏”向皇帝李治检举。李治说：“许圉师身为宰相，侵犯百姓的土地财产，竟隐匿不报，岂不是作威作福！”许圉师抗辩说：“我身居中枢，用正直公平的态度侍奉陛下，不可能使各位大臣全都满意，所以受到攻讦。至于作威作福，只有手握强兵，或身据军事重镇的人才有资格！我一个文官，侍候皇上，只知道闭门自修，怎么敢作威作福！”李治大怒说：“你这是怨恨自己没有兵权吗？”右相许敬宗说：“人臣竟然有这种态度，诛杀他也不足以抵罪！”李治命人把许圉师赶出，下诏免职。

许圉师在相州任刺史期间，对待自己手下的官吏也是看其主流，用其所长，力避严刑。对于偶犯错误的人，往往是先作耐心的工作，以促其转变，曾经有下属官吏犯赃事露，许圉师不让人追究，只是赐给那人《清白箴》来刺激他，贪赃之人万分愧疚，后来就改过自新，成为廉洁之士。

高宗在陆浑县狩猎了六天，猎得了四只鹿和数十只兔子。傍晚时分，他回到御营，看到太官正在宰杀猎物供应给百官。于是他问侍中许圉师说：“我看笼子里的那只羊，无罪而要被杀，心中很是怜悯。如今我想用已死的兽类来代替，可行吗？”许圉师回答说：“古时宋文侯见人要杀牛祭祀，便说：‘我观察这头牛，瑟瑟发抖，看起来无罪而要被杀。’于是决定放了那头牛。现在陛下取死鹿来替代要被杀的羊，正符合尧舜之道。”遂放了那只羊。两天后，大顺府果毅校尉王万兴在围猎中过早行动，违反军令，众人要杀他，高宗想到许圉师之前讲的典故，怜悯王万兴的军功，便对侍臣说：“军令有犯，罪在不赦，但我担心外人会说我只是沉迷狩猎，轻断人命。”特命赦免他。

《旧唐书·卷五十九·列传第九》

《新唐书·卷九十·列传第十五》

《资治通鉴·卷第二百一》