本来，阮朝朝廷已经在派使议和之前详细拟定了对策并作出了偏乐观的预期，嗣德帝也在潘清简陛辞之际提出了“土地决不可许，邪教（天主教）决不可公行”的底限，但《壬戌和约》的结果无疑使阮朝的愿望落空了。于是在潘清简、林维浃二人回到首都顺化以后，嗣德帝痛斥他们“非特本朝罪人，千万古罪人也！”同时，嗣德帝任命潘清简为永隆总督，让他戴罪立功，继续与法国交涉收复失地。但潘清简再费唇舌也无济于事，换约手续也在次年春在顺化完成。潘清简经此缔约，在朝廷威望大减，并且遭到越南朝野上下的唾骂。史载缔约之后“异论藉藉，以为事由全权大臣，非出于上意，良莠又相激，胥动浮言”，导致宗室阮福洪槢等人谋反，企图杀死潘清简等主和派。南圻的义兵也高举着“潘林卖国，朝廷弃民”八字的旗帜。可以看出此时的潘清简已成为众矢之的了。

嗣德帝仍不善罢甘休，他决定派人直接去法国讨还被割让的南圻三省，而这项艰巨的任务再度落在潘清简身上。1863年（嗣德十五年），嗣德帝任命潘清简为“如西正使”，率副使范富庶、陪使魏克憻及随员63人，于7月4日自嘉定启程，潘清简陛辞之际，嗣德帝质问潘清简“卿前专弃三省，果权其轻重而为之，抑有别意？”潘清简回答：“熟观辰（时）势，不得不然。臣今奉使，成与不成，由彼两国，臣惟竭心力耳。”嗣德帝接着痛哭流涕地对群臣说：“此土地，此人民，先朝聚辟之所贻。今宜同心济事，毋遗我羞，毋为我忧！”他又赐诗给潘清简等人，内容是：“古人肩重任，利钝讵先必？惟以诚悃孚，鬼神自可质。暴虎犹渡河，狂鳄亦徙室。矧夫彼有知，何患乎强拂？嘉名人所好，至理人所屈。善言人所服，义气人所怵。钻石终不移，溪壑焉能溢？安危在此举，肯惜经纶术？无言已默会，年来久亲密。”

9月13日，潘清简使团抵达法国首都巴黎，法国鸣礼炮十七响以示欢迎。这是阮朝开国后首次派使团前往欧洲，也是锁国的越南融入世界的第一步，富有重大的历史意义；法国亦也颇为重视，其外长吕义（Edouard Drouyn de Lhuys）在官邸设宴招待潘清简一行，出席的还有俄国、奥地利、土耳其、西班牙、荷兰、巴西、墨西哥、瑞典等国使节，随后11月15日法国皇帝拿破仑三世携皇后和太子在杜伊勒里宫以很高的规格接见了潘清简使团。尽管如此，潘清简此次的压力更甚于1862年议定《壬戌和约》之时，他也想方设法、竭尽全力地从法国人的口中掏出越南的土地，不仅与法国各方积极接洽，还与各国使节联络，并在会见拿破仑三世时递交了恳请归还越南土地的国书。恰在此时，法国海军中校何巴理（G·Aubaret）主张把交趾支那交还越南，但要保留保护权，并占领西贡、堤岸、头顿及同奈河一带。法国政府接受了何巴理的建议，但增加占领美荻一项。法国政府决定委派何巴理中校为曼谷领事，全权负责与越南谈判新约事宜。而后法国交给潘清简包括增加八处殖民点、派使驻京、扩大通商权利、赎金1300万余元等条件在内的21条新约草案。虽然有屈辱的附加条件，但潘清简总算勉强完成了收复失地的使命，随后他们参观了法国的工厂、学校，并与奥地利、土耳其驻法使节展开交流，接着率领使团访问西班牙，并在1864年2月返回越南。

1864年5月，何巴理携带新约来到顺化，正式向阮朝政府通报了法国归还南圻三省的消息。颟顸的嗣德君臣误以为法国并不想获得土地，将法国此举视为软弱，遂采取了元老张登桂所建议的“依我所定，坚持勿为所动”的方针，拒绝新约，幻想无条件收回南圻三省并削减赔款。事实上，法国此举不过是由于在南圻立足未稳且不愿招来过多国际干涉所致，还有许多殖民派人士坚决反对将南圻三省归还越南。阮朝政府不自量力，遂失去了这唯一的收复失地的可能，而潘清简的外交成果也付诸东流，与他一起出使的范富庶亦叹息“千载机来却遗恨”。与法国谈判新约的任务仍由与法国打过交道的潘清简负责。潘清简深知谈判无异于与虎谋皮，遂请求将这一任务让给张登桂，被嗣德帝驳回。潘清简与何巴理的谈判自然不可能让嗣德帝如愿以偿，法方拒绝更改事关归还条件的重要条款，“余各款间亦改润一二而已”。一直拖到1864年7月14日，潘清简才草签新约。但嗣德君臣坚持认为“不如且守旧约十二款，其赎还三省姑俟后图”而拒绝接受，并归咎于潘清简的谈判不力。同时法国的海军大臣德·夏斯卢·罗巴（de Chasseloup-Laubat）反对归还这些土地，甚至以辞职相威胁，最终拿破仑三世于1864年6月取消了新约，并打算进一步在越南扩张。

法国没有批准草签的新约，并在1864年11月以海军准将嘉棱移衣（de la Grandiere）为印度支那总督，前往越南执行《西贡条约》的割地规定。1865年2月，嘉棱移衣来到越南，正式告知阮朝朝廷将割取南圻三省，嗣德帝无可奈何，只得拱手将阮朝的“龙兴之地”让给法国。法国人在获得嘉定等南圻东部三省以后得寸进尺，又觊觎南圻西部的三省——永隆、安江、河仙，找各种理由挑衅，试图吞并南圻全境。嗣德帝见南圻西部三省危在旦夕，乃派“西素信服”的潘清简为永隆三省经略大臣，试图阻止法国人吞并这三省。由此潘清简第四次与法国交涉，也是走向了人生的末路。

嗣德帝一厢情愿地认为“富（法）人信重之（指潘清简），料必能委曲投机，一言贤于十万师……务使听从，得赎回为上。何省富人乞居商，亦听”。然而，1863年法国已将柬埔寨变为保护国，南圻东部三省已割给法国，因此南圻西部三省处于夹在两者间的尴尬位置，法国人也是志在必得。他们以许多借口如永隆等三省地势悬隔、南圻民众抗拒法国等胁迫让阮朝交出南圻西部三省，嗣德帝除了让潘清简加强对三省的管理来化解法国人的借口之外别无他法。随着形势的不断恶化，嗣德帝也对潘清简越来越不满，他不仅多次拒绝潘清简提出的致仕请求，还指责潘清简“凡事不见筹奏，探报又不尽，施为亦无闻”，然后训诫道：“朕日日望卿收此三省报朕，则卿纵不幸长往，亦可瞑目，朕亦安心。不然，万世与卿同罪，无有赎辰。魂魄不散，亦为鬼雄以图报。方快说到心疼，无可复下笔，千万里如对卿言，卿犹不信自诿邪？嗣有见闻筹划，悉入告，勿复如前！”可见嗣德帝对潘清简的信任和耐心已丧失殆尽，而潘清简也在法国殖民者和顺化朝廷之间弄得两面不是人，他当时的痛苦也就可想可知了。

1867年6月，在卢森堡危机结束后，法国终于采取军事行动，入侵永隆等三省，潘清简自知大势已去，没有组织抵抗，只是劝喻法军入城“勿惊扰人民与仓库，现贮钱粮仍由我炤（照）管”。法国人答应了他的要求，于6月20日取永隆，21日取安江、24日取河仙。南圻全境被法军顺利占领以后，嗣德帝致函法军统帅嘉棱移衣，请求护送三省大臣回顺化。潘清简没有回去，他只是将三省钱粮和自己的朝服、印绶，并遗疏一封，纳交顺化朝廷。他的遗疏中写道：

“兹辰遭艰否，凶丑起于郊甸，氛祲薄于边圉。南圻疆事一至于此，骎骎乎有不可遏之势。臣义当死，不敢苟活，以贻君父之羞。皇上博达古今，深究治乱。中外亲贤，同心协赞，恪谨天警，抚恤人穷。虑始图终，更弦易辙，势力犹有可为。临绝梗塞，不知所云，但雪涕瞻恋，不胜愿望而已。”

潘清简本人则在永隆绝食十七日，最后于1867年8月4日（嗣德二十年七月五日）在朝顺化方向五拜三叩首后，喝下放入大量鸦片的茶，结束了自己的生命，享年七十二岁。临终前嘱咐子孙不得为法人做事，不得学习法文。

据记载，潘清简的父亲是个小吏，因得罪上司，被罚苦役，年仅十二岁的潘清简毅然同父亲一起服役。他的孝行在当地广为传颂。

潘清简自幼好学嗜书，从善王阮福绵审描述他“幼即志于研经，贫而安于苦学。江士清之屋，随月以升；车武子之囊，盛萤自照。木钻穿石，铁杵磨针。且能学无常师，故得晓非一孔。加复圭璧其行，冰雪为怀。珠无记事，而立诵千言；玉匪益灵，而暗书四卷“。这种好学嗜书的习惯伴随了潘清简的一生，据潘清简的好友蔡佑武所回忆：“潘公平生最大的消遣便是读书和搜集奇书，曾有一商人馈赠礼物，潘公只接纳其中笔墨史书之类，而退回其他奇珍异宝”“潘公做官之时，仍然喜好博览群书，常常废寝忘食”。

在1864年的法国之行中，潘清简亲眼目睹了法国在工业革命以后的先进性，而蒸汽机等创新事物更是令他惊讶不已。据说在回到越南之后，潘清简向嗣德帝和同僚描述法国的富有和强大超出了语言所能描述的范围，并提出与法同盟、开港通商、派人留学、模仿法国改革政治、教育百姓等建议，但阮朝君臣都不以为然。潘清简曾作《自叹》一诗，云：“自出使洋都日起，欧洲所见颇惊异。呼吁同胞快赶及，费尽唇舌无人信！”（原诗不详，此为转译）

潘清简是一名标准的儒家士大夫，他对君忠诚、为民请命、为官清廉、勤劳王事。而到晚年遭遇时代剧变，不幸卷入其中，四次对法交涉，均以失败告终，最后也以身殉国。所以对于他的评价是有变化的，也是一个很有争议的人物。在他死后，嗣德帝不但没有褒奖他的殉节，反而在1868年下诏称：

“原协办大学士领经略使潘清简前既与林惟浃率定和议，将定边祥三省轻易许人，奉使复无状，候充经略，又坐失机，宜致隆江河三省俱失，二罪均重。虽事后办得一死，未足蔽辜。其潘清简着并与故林惟浃皆追夺职衔，又刮去进士碑名，永存斩候之案。诛既死，以儆将来。”

由此可见，嗣德君臣将丢失南圻的责任全部推卸到潘清简身上。潘清简的悲剧是由于法国侵略者的蛮横强暴和阮朝统治者的昏聩懦弱的双重因素下造成的，因此他也获得了后世的同情。越南近代著名爱国诗人、潘清简的同乡阮廷炤为其赋诗曰：

世道如斯苦问由，风云惨淡遍鳌洲。

安危六省一身责，事业三朝数行留。

蝶梦未回悲北驿，鹃声怕听泣南楼。

成仁取义书生志，极目苍茫不尽秋。

1886年，同庆帝正式为其平反，恢复了潘清简的官爵，并亲撰祭文以告。阮朝史臣评为潘清简盖棺定论道：“清简为人端良，持心廉洁，居官勤慎，遇事敢言，历事三朝，素所简眷。及捧节南行，势无可奈，能知罪引决，寔处人之所难。观其遗疏，忠爱之心溢于言表，且又学富辞博……后之南中名臣，鲜能出其右者”。潘清简还被南圻官民供奉于各个庙宇中，也被公认为阮朝的忠臣，启定帝、保大帝都曾敕封其为“端肃翊保中兴尊神”，可见生前遭朝野谴责的潘清简此时已逐渐获得高度评价甚至被神圣化。

到了现代，潘清简的评价又有变化。越南的民族主义阵营普遍对潘清简评价较高，如陈仲金认为：“当时潘清简已经老迈，年逾七十，为官甚是清廉，但不幸适逢国家有变之时，深知自己势不能有所作为，因把一片铁志丹心报答国恩，以尽为人臣者之本分”，对其给予充分的肯定。1967年潘清简殉国百年之际，南越最有影响力的历史杂志《史地》季刊曾辟专号（第7、8合辑）发表一系列纪念潘清简的文章，南越不少街道和学校也以潘清简的名字来命名。

但是，越共方面对潘清简的评价则偏低。北越史学界曾在1962—1963年展开了关于如何评价潘清简的讨论，结果倾向于越共学术代表人物陈辉燎的意见。陈辉燎称潘清简为“投降派的代表”，并写道：“许多人曾经认为潘清简在绝食十七天后仍劝告子孙不要与法国合作，并服毒自杀，因而为他辩护。但是，要想准确地评价某一个人的气节，必须考察他为人民服务，为祖国服务的目的。我们今天批判潘清简，并不把他放在当时出面叛国的越奸之列，但必须在潘清简身上看到，他是封建阶级中企图利用向法国殖民者妥协的方法来挽救本阶级利益的投降派的一个代表人物。可是最后由于法国殖民者必须迅速地吞并越南的全部领土，不消再向封建阶级‘讨价还价’，因而这种妥协主张也遭到失败，因此，潘清简绝望而死。”

随着越南的革新开放，越南史学界开始重新审视对潘清简的评价。在2003年召开的一次名为“关于历史人物潘清简的21世纪观点”的学术研讨会中有如下表述：“潘清简是一位知识渊博、勤勉、清廉、爱国和有着伟大人格的官员。他也是南部乃至越南的一位杰出的史学家、诗人和文化学者。加诸其头上的罪名‘卖国’或‘叛国’是苛刻沉重且毫无根据的，这既不符合他的行为和动机，也与故乡人民从过去到现在对他不变的仰慕与尊敬之情背道而驰。”越南前总理武文杰也表示：“潘清简的人格道德非常值得我们的下一代学习”，他还说：“我肯定潘清简是一个爱国爱民之人，他的品格应当受到敬重。”

中国学者于在照指出：“潘清简是越南历史上不能不提的人物。1862年，他曾经代表阮朝政府与法国政府签定了割让南圻东三省的《西贡条约》。1863年，他又率团访问法国，意欲赎回南圻三省，未果返回。1867年，法国攻打南圻西三省，他兵败服毒自杀。潘清简留有《凉（梁）溪诗集》和《凉（梁）溪文集》。他的诗歌反映了他廉洁和体恤百姓的品质，同时又暴露了他软弱无能的性格。”

潘清简学识渊博，是越南著名的历史学家、优秀诗人和文学家。潘清简的文学造诣在当时便得到很高的评价，嗣德帝认为其文“古雅”，同庆帝则称赞潘清简说：“梁溪妙选，琼苑名流。乔岳泰山，品望三朝之硕；行云流水，文章一代之尊”。同僚张登桂也自叹“文学之富，不及潘清简”。1853年任协办大学士兼兵部尚书、机密院大臣时，潘清简曾任国史馆总裁，主持编修《钦定越史通鉴纲目》及明命、绍治两朝实录等书，其中对《钦定越史通鉴纲目》贡献最大，成就也最高。他的主要著作还有《梁溪诗草》、《梁溪文草》、《药夫诗集》、《使清诗集》、《使程诗集》、《文草补遗》、《卧游集》，以及与范富庶合著的《如西使程日记》等。

潘清简有三子：潘清帘（正确写法为潘清蘝，号叔青）、潘清芗（号仲昇）、潘清荪（号季湘）。其长子潘清帘历任尚书、管领侍卫大臣等职。