在处理淮南、衡山、江都三王谋反的案件时，都穷追狠治，彻底审理。汉武帝欲释放严助和伍被。张汤与汉武帝争论说：“伍被本来就曾谋划反叛之事，而严助亲近交结出入皇宫的陛下近臣，私自交结诸侯亦如此类，不加惩处，以后将无法处治。”汉武帝因此同意将伍被、严助治罪。他以审理案件排挤大臣作为自己功劳的表现，多像这样。从此，张汤更加受到尊崇信任，晋升为御史大夫。

正巧匈奴浑邪王等人投降汉朝，汉朝廷调动大军讨伐匈奴，崤山以东干旱，贫苦百姓流浪迁徙，都依靠官府供给食物，官府库存空虚。张汤从而禀承武帝的旨意，请求制造白金货币及五铢钱，垄断盐铁的生产和买卖，排挤富商大贾。还公布告缉令，剪除豪强兼并的家族，舞弄文辞，巧言诋毁以辅助法令的施行。张汤每次上朝奏事，谈论国家的财用，常至日暮，武帝甚至忘记吃饭。丞相形同虚设，国家大事都听张汤的意见。全国被搞得民不聊生，都骚动起来，官府所兴起的各项生产，也无法获利。官吏们从中侵夺渔利，从而又被严厉地依法治罪。因此，使得公卿以下的官员，直至平民百姓，都指斥张汤。张汤患病时，汉武帝曾亲自前去看望，其隆贵到了这种地步。

匈奴人前来请求和亲，群臣在皇帝面前讨论此事。博士狄山说：“和亲对我们有利。”汉武帝询问有什么好处，狄山说：“武器是凶器，不应多次动用。高皇帝欲图征伐匈奴，在平城陷入困境，于是与匈奴结和亲。孝惠帝、高皇后时，天下因此而得以安乐。及至孝文帝，要对匈奴采取军事行动，北部边境萧然而苦于战事。孝景帝时，吴、楚七国反叛，孝景帝往返于两宫之间，胆战心寒了几个月。吴、楚七国之乱被平定后，景帝一朝始终不谈军事，国家富裕充实。如今从陛下开始发兵攻击匈奴，使得我们国家空虚，边境地区的百姓极度贫穷困乏。由此看来，不如和亲。”汉武帝问张汤，张汤说：“他是个愚蠢的儒生，没有知识。”狄山说：“臣下的确是愚忠，但象御史大夫张汤那样，却是诈忠。如张汤审理淮南、江都王谋反的案子，以恶毒的文辞肆意诋毁诸侯王，离间宗室的骨肉之亲，使蕃臣内心不安。臣因此知道张汤为诈忠。”于是汉武帝面带不快对狄山说：“我让你担任一个郡的长官，能不能不使匈奴人入境抢掠？”回答说：“不能”。再问：“负责一个县呢？”回答说：“不能。”又问：“负责一个烽障呢？”狄山知道再说不能，便会被治罪，只好说：“能。”于是汉武帝派狄山到边境负责一个烽障。一个多月之后，匈奴人砍了狄山的头以后离去。从此以后，群臣震慑，不敢再谈和亲。

张汤的门客田甲，虽然是个商人，但有很好的品德。当初张汤任小吏的时候，因为金钱的关系而互相往来，及至张汤当了大官，田甲又曾责备张汤行事中的过失，也表现出忠正刚烈之士的风范。

张汤在担任御史大夫第七年的时候。终于被免官治罪。

河东郡人李文曾与张汤有隔阂，不久担任御史中丞。为了泄愤，多次在上奏的文书中寻找对张汤不利的证据，都没有得逞。张汤有个心爱的属吏名鲁谒居，知道张汤对李文不满，便指使他人上奏影射李文有图谋不轨的奸邪之事，汉武帝将此事交给张汤处理，张汤将李文处以死罪。实际上他心里明白此事是鲁谒居所为。武帝问起这件事说：“告发李文图谋不轨的事是怎么引起的？”张汤假装吃惊的地说：“这大概是因李文以前的熟人怨恨引起的。”鲁谒居患病住在里巷的一户人家，张汤亲自去探望，并为鲁谒居按摩双足。赵国靠冶炼铸造营利，赵王刘彭祖多次指控铁官，张汤却每每排斥赵王。赵王寻查张汤的不可告人之事。鲁谒居曾审理赵王的讼案，赵王对他心怀怨恨，上书告发说：“张汤是朝廷大臣，掾史鲁谒居有病，张汤却亲自到他那里为其按摩双足，我怀疑他们可能有什么大阴谋。”此事下到延尉审理。鲁谒居因病而死，事情牵连到他的弟弟，被拘押在导官那里。张汤也到导官的官衙审理其他囚犯，见到了谒居的弟弟，欲暗中帮助他，表面却装作不认识。鲁谒居的弟弟不知道他的用意，因此怨恨张汤，指使人上书告发张汤与鲁谒居的阴谋，共同以图谋不轨的罪名告发李文之事。汉武帝将此案交给减宣处理。减宣曾与张汤不和，接手此事后，穷追狠治，并且不向武帝进奏。正巧有人盗走了汉文帝陵园的下葬钱，丞相庄青翟上朝，与张汤相约一起谢罪。至武帝面前，张汤暗想，只有丞相在四时到各国陵拜祭，此事只应由丞相请罪，他自己并不参与其事，没有必要承担责任。丞相谢罪后，武帝派御史审查这件事。张汤欲图奏报说丞相知道盗钱之事，丞相庄青翟深感恐惧。丞相府的三位长史因此准备打击张汤，以罪名陷害他。

长史朱买臣素来怨恨张汤，张汤当时任小吏，要跪拜者请朱买臣等上前。不久，张汤任廷尉，审理淮南王谋反的案件，排挤庄助，朱买臣对此心怀不满。及至张汤升任御史大夫，朱买臣以会稽太守升任主爵都尉，处于九卿之位，数年之后，因为触犯法令被免官，降职为守长史。他曾去拜见张汤，张汤高傲地坐在床上，他的府丞和掾史对朱买臣也没有礼貌。朱买臣是楚地的士人；对此深为怨恨，常欲置张汤于死地。王朝，是齐地人，因为懂得方术，官至右内史。边通，学战国纵横家的说人之术，是个性情刚烈强悍的人，两次任官至济南王国相。他们的地位都曾比张汤高，不久失去官位，任守丞相长史，只好在张汤面前委曲求全、张汤多次代行丞相职权，知道这三位长史一向尊贵，所以常故意凌辱他们。

因此三个长史合伙谋划说：“当初张汤与丞相相约向汉武帝谢罪，不久却出卖了丞相；如今又欲以宗庙之事弹劾丞相，这是欲留取代丞相的地位。我们知道张汤的不可告人之事。”他们派属吏逮捕审讯了张汤的友人田信等，说张汤向武帝奏报提出建议，田信都事先知道，因此屯积取利，与张汤平分。他们还说张汤有其他奸邪之事、这些话很快传到武帝那里，汉武帝向张汤说：“我有什么打算，商人都事先知道，加倍屯积货物，这都是因为有人把我的计划告诉了他们。”张汤听后；没有谢罪，还惊讶地说：“肯定是有人这样做。”减宣又上奏了鲁谒居之事。汉武帝果然认为张汤心中险诈，当面撒谎，派使臣带着簿籍以八项罪名指责张汤。张汤一一予以否认，不服。于是汉武帝又派赵禹责备张汤。赵禹见到张汤后，责劝张汤说：“阁下怎么不懂分寸，您审讯处死了多少人，如今人们指控你的事情都有根据，圣上很重视你的案子，想让你自己妥善处置，为什么要多次对证呢？”张汤于是上疏谢罪说：“张汤没有尺寸的功劳，从刀笔吏起家，因得到陛下的宠幸而官至三公，没有任何可开脱罪责之处。然而阴谋陷害张汤的，是丞相府的三位长史。”于是自杀身死。

张汤死后，家里的财产不超过五百金，都是得自皇上的赏赐，没有其他产业。他的兄弟之子要厚葬张汤。张汤的母亲说：“张汤作为天子的大臣，被恶言污蔑致死，有什么可厚葬的！”遂用牛车装载他的尸体下葬，只有棺木而没有外椁。汉武帝知道后，说：“没有这样的母亲，不能生下这样的儿子。”因此将三位长史处以死罪。丞相庄青翟被迫自杀。释放了田信。武帝很为张汤之死惋惜。晋升了他的儿子张安世的官职。

汉武帝与张汤商量制造白鹿皮币，询问大司农颜异的意见。颜异反对，汉武帝不高兴。张汤又与颜异不和，正好有人以其他事告发颜异，颜异就被逮捕下狱，由张汤审问。颜异曾和客人对话，客人说法令初下，有不便之处，颜异没回应，只是稍微讥讽了几句。张汤就上奏称颜异作为九卿，见法令不便，没有明说却内心诽谤，判处死刑。于是开启了所谓“腹非（腹诽）”的先例，从此公卿大夫也大多阿谀奉承、讨好皇帝。

2002年，西北政法大学在建设长安校区时，发掘张汤的墓葬。为纪念此事，西北政法大学在墓葬遗址上建造了具有典型汉代风格的考古发掘纪念碑、中国法制文物与法律文化展览馆与纪念亭。2009年，中华人民共和国首席大法官、最高人民法院院长王胜俊为“廉亭”题名。

墓为长斜坡墓道土洞式，坐东朝西，平面大致呈“甲”字形，墓道后连接甬道、墓室。此墓虽已经盗扰，但出土了特点较为明显的西汉中期星云纹铜镜和武帝五铢钱等文物。最为珍罕的是，出土物中有2枚精致的双面穿带印，一枚印文为“张汤臣汤”，一枚为“张君信印”，印面径为1.8厘米，即古之所说“方寸之印”。此两印的出土表明墓主应为张汤，结合出土器物和墓葬形制考古者推断此墓葬时代为西汉中期武帝之时。西汉杜陵所辖范围包括今长安区，即今张汤墓葬在西汉杜陵范围内，此墓的发现与西汉御史大夫张汤墓的故籍地望相符。同时此墓中棺木痕迹表现为一棺葬，与《汉书·张汤传》中“载以牛车，有棺而无椁”的记载相吻。墓中随葬物品多为日常生活的小器件，不见汉墓常见的陶器和其他贵重器物，也与《汉书》中“汤死，家产直不过五百金，皆所得奉赐，无它赢”、“何厚葬之”的记载相同。

市文物局孙福喜等人综合上述分析，断定此墓就是西汉张汤墓。这一发现在一定程度上验证了《汉书》记载的正确性。史载张汤死于汉武帝元鼎二年（公元前115年），故其墓葬时代也应为元鼎二年左右。准确的墓葬年代的确定，为以往靠器物组合断定相对年代的汉墓分期断代，也为关中地区汉墓的深入研究提供了精确的标尺。