他在这个位置上没干好久，因为他在讨论把约翰·威尔克斯赶出下院的建议时讲了于政府对立的话，从而激怒了朝廷。他隐居在他维尔特郡鲍伍德的宅邸，并请来了潜力布朗（著名建筑园艺家兰特洛斯·布朗善于在小块土地上布置出乡村景色，总是说某人的土地很有潜力，因此而得诨号）美化这所庄园。在此期间，他搜集了许多书籍，建立了一个很可观的图书馆，并经常招待当时的知识名流；如大卫·休谟，约翰生博士和杰里米·边沁这样一些人。在当时的政界中，想他这样喜欢同第一流的人才交往的人寥寥无几。他复出任职时（1766年）担任了南方事务部大臣。这个部主管美洲和印度事务，这是当时最重要的的职务之一，但是谢尔本的工作遭到了猛烈的攻击。他早在布特利用他为驱逐格伦维尔和把皮特请回政府一事出谋划策时，就已经得到了狡猾的阴谋家的名声。

1768年，当政府显然要用武力对付美洲殖民地时，谢尔本辞职了。国王憎恶他，称他是“贝克莱广场的阴险人物”---他的伦敦宅邸位于贝克莱广场。但是他为组织一个有力的反对派所做的努力是徒劳的，因为在那个时期英国公众与美洲人和他们在英国的朋友是敌对的。

大约就在这个时候，谢尔本同苏格兰议员威廉·富勒顿中校发生了冲突。富勒顿对谢尔本在上院说的关于他的一些话提出了抗议，并反过来指责谢尔本同英国的敌人串通一气。谢尔本不是能容忍这种中伤的人。于是两人在海德公园进行了决斗，谢尔本的腹股沟部分受了轻伤。富勒顿说：“我想谢尔本夫人不会因此而不快。”谢尔本于1765年同索菲亚·卡克雷小姐结婚，生了一个儿子；在她去世后，他于1779年于路易斯·菲茨帕特里克结婚，没有生孩子。在与富勒顿决斗的事情上，公众站在了谢尔本一边，认为是政府煽动富勒顿这么干的。

但是，谢尔本在经济和精神方面都很富有，所以没有因人望不高的命运而过于苦恼。他在贝克莱广场有丰盛的宴席，在鲍伍德宅邸有花园和书籍，在知识界有许多老朋友与他交往。他还热情的充当政治斗争调解人，确信迟早有需要他的一天。事实的确如此。

诺斯勋爵辞职后，国王任命谢尔本担任他的谈判中间人；谈判的目的是劝说罗金汉出任首相。谢尔本担任了罗金汉政府的内政大臣，虽然他在一些重大问题上同罗金汉本人和他的朋友有分歧。例如，谢尔本希望美洲殖民地同英国结成自愿的联邦，因而不愿美国的独立，但是罗金汉准备承认美国的独立。然而，总的来说，他比他的同事们激进。使得别人不信任他的各种因素之一，是他的极端独立的见解。他的同时代人谁也说不准他在遇到任何问题时会站在什么立场 上。

作为内政大臣，同美洲人谈判时他的职责，而外交大臣查尔斯·詹姆士·福克斯负责指导同欧洲大国的和谈。在罗金汉于1782年7月1日去世时，这两个人发生了严重的分歧。谢尔本成了首相；福克斯辞职。辉格党人堆谢尔本的猜忌已达到空前的程度。埃德蒙·伯克称它是“一个恺撒·博尔吉亚 ，一个加蒂兰和一条双头蛇。”然而，他任然能够组阁，他的内阁一直维持到它制定的同美洲人的合约条款遭到下院否决才倒台。谢尔本离开了他占据不到8个月的职位；他之所以被击败是因为他匆忙拼凑的和约被认为使英国太丢脸了。英国人还没有准备承认自己的失败是何等惨重。他们高兴有谢尔本这样一个人承担罪责，而谢尔本则把他的垮台归咎于国王，认为国王先诱使他就职，然后又鼓励他的政府内部的不和。

国王赐给他嘉德勋章和兰斯多恩侯爵爵位，并许诺以后再册封非王室公爵时授予他公爵爵位，但是他的政治生涯就此结束了，虽然他继续生活了二十年。他在议会中没有建立一个支持他的党派，只是在议会以外有一批私人朋友。他为高压政策付出了代价；他的同事，甚至他的朋友小威廉·皮特都为此与他疏远。自从他与被人憎恶的苏格兰人布特结成联盟，在别的情况下本来会成为他的天然盟友的一些激进思想家一直以怀疑的目光注视着他。他从未摆脱这种怀疑。1783年，他拟议同美洲人签订和约引起政治危机时，他曾指望国王出面解围，但是国王没有这样做。他心灰意冷的离开了政治舞台。

他的经济主张---从他的朋友亚当·斯密那里得到的----激进和新颖的；他在议会改革问题上的主张也是如此；这些主张都留给下一代人去实行了。他的接班人确定的和平条款同他被议会否决的条款大同小异，但这并没有使他得到慰藉。法国大革命即将爆发，谢尔本始终站在自由派一边，反对小皮特和他的朋友们实行的越来越守旧和专横的政策。随着时间的流逝，他成了越来越孤立的人物，在重大事件中没有起作用的机会。这是一件憾事，因为尽管傲慢和狡猾，他本来可以为他那个时代的英国政治思想做出巨大的贡献。

是什么因素阻碍了他呢？不是财富---他非常富有，也不是才华---他才华横溢。给人的印象是，他不完全懂得英国政治制度，任然与之格格不入，是个局外人。 他死于1805年5月7日。这个爱尔兰人是他那个时代唯一基本上不得志的首相。正如本杰明·迪斯雷利所说的那样，他是“英国历史上最还怀才不遇的人物之一，也是十八世纪最有能力和知识最渊博的政治家。”