崇祯十五年（1642年），清军攻打胶州，高弘图出资数十万守城。

崇祯十六年（1643年），崇祯帝思之，且闻其佐胶州城守功，召至阙，谘以时事。召拜南京兵部右侍郎，就迁户部尚书。

崇祯十七年（1644年），李自成进攻北京，史可法谋勤王，高弘图转刍粟浮江入淮以济。师方发，而崇祯帝的凶问至，南都大臣议所立，史可法谓非英主不足以定乱，高弘图与姜曰广、吕大器佐之。

福王朱由崧建立南明弘光政权，以高弘图物望所属，拜礼部尚书兼东阁大学士。与史可法并入直。高弘图因请移跸中都，进山东，以示大举讨贼。疏陈新政八事：一、宣义问，请声逆贼之罪，鼓发忠义。二、勤圣学，请不俟释服，日御经筵。三、设记注，请召词臣入侍，日记言动。四睦亲藩，请如先朝践极故事，遣官赍玺书慰问。五、议庙祀，请权附列圣神主于奉先殿，仍于孝陵侧望祀列圣山陵。六、严章奏，请禁奸宄小人借端妄言，脱罪侥幸。七、收人心，请蠲江北、河南、山东田租，毋使贼徒借口。八、择诏使，请遣官招谕朝鲜，示牵制之势。又请修国史、实录、玉牒，并褒纳焉。

当时，朝廷大议，多出自高弘图之手。未几，史可法出任督师，马士英辅政，惮高弘图、姜曰广、张慎言等持正。廷议起废，张慎言举荐吴甡、郑三俊，马士英同党、诚意伯刘孔昭率诸勋臣叱张慎言于朝，目为奸邪，声振殿陛。高弘图曰：“文武各有所司，即文臣中各部不得侵吏部之权，武臣何得越职相争！且吴甡与郑三俊乃是三朝遗老，清望在人。孔昭妄思侵害，非其党者目为奸臣。忝在政府，宸陛之严，化为讼庭，愧死无地，乞赐斥罢”！不许。

既而，马士英疏荐阮大铖，高弘图认为不可。马士英曰：“我自任之”。因拟旨，命假冠带来京陛见。阮大铖入见，历陈冤状，以高弘图不附东林党引为证。高弘图则力言逆案不可翻，阮大铖、马士英并怒。一日，阁中语及故庶吉士张溥，马士英曰：“我故人也，死，酹而哭之。”姜曰广笑曰：“公哭东林者，亦东林耶？”马士英曰：“我非畔东林者，东林拒我耳。”高弘图因纵臾之，马士英意解。而刘宗周劾疏自外至，阮大铖宣言姜曰广是幕后主使，于是马士英怒不可止。而荐张捷、谢升之疏出，朝端益水火矣。内札用户部侍郎张有誉为尚书，高弘图封还，具奏力谏，卒以廷推简用。中官议设东厂，高弘图争不得。遂乞休，不许，加太子少师，改户部尚书兼文渊阁大学士。寻以太后至，进太子太保。

其年十月，高弘图四疏乞休，乃许之。高弘图既谢政，无家可归，流寓吴门。已复渡江，入浙东。弘光政权灭亡，高弘图泣涕绝食，殁于会稽（今浙江绍兴）之竹园寺。

隆武帝即位，犹下诏入辅。鲁王监国，赠太师，谥文忠。

《明史》：“柧棱自持，不依丽人”，“高弘图、姜曰广皆蕴忠谋，协心戮力，而扼于权奸，不安其位。盖明祚倾移，固非区区一二人之所能挽也”。

《南疆绎史》：“弘图虽非材，使其幸而当平世，固一贤宰相也。”，“金陵立国，弘图与小人同朝；不激不随，持守正直，有足观者。然不能通古今之变、览存亡之势。如论使礼，犹执向时故事，将约是具文乎，抑欲求当于国事也！史可法恐四镇之横，以建议始封为弘图误国罪。是则不然，使君相英明，庙堂胜算，四镇何尝不可用；况如得功之忠勇乎！自马、阮出而纪纲紊乱，外结强援，以遏正士；贤者岌岌乎不安其位。是四镇之横，马、阮召之也，于弘图何尤哉！”

钱海岳：弘图不激不随，持正守直，恪尚有古大臣风，立朝仅阅五月。然弘图在而憸邪犹有所牵制，弘图去而事遂无所不为。卫藜藿者必猛兽，逐鸟爵者必鹰鸺，孔父立朝，莫敢致难，拂士之重国如是夫。

高弘图归乡后，倾心学术研究，先后完成了《易经著解》《史记论事》《纲目别见》《论史》《高弘图杂著》《高弘图尺牍》《血衣记》等著作。

高弘图草书扇面

时任大理寺评事的胶州人赵任，在崂山华阴有一别墅，名为“皆山楼”，建筑十分精美，高弘图罢官后游崂山时，甚爱此楼，正值赵任年老思归故里胶州，遂将这座别墅赠于高弘图，高弘图为其更名“太古堂”，徜徉于崂山之山水间。

崇祯十二年（1639年）夏，高弘图与友人一起，历时15天，游览了崂山九处风光山色，撰写了《崂山九游记》，对崂山之风景、轶闻、掌故多有记述。