曾说：“京城中来人说，都城里气象甚恶，明火执仗之案经常发生，而市肆里乞丐成群，甚至于妇女也裸身无裤可穿，民穷财尽，恐怕会有异变。为之奈何？”赵说：“天下治安一统久矣，势必分剖离析。然而主德厘重，风气未开，若无轴心一烂，则土崩瓦解之局不成。我估计，异日之祸，必先颠仆，而后方州无主，人自为政，殆不出五十年矣！”

曾国藩蹙额良久，说：“会否南迁呢？” 赵说：“恐怕是直接完蛋，未必能像东晋、南宋一样偏安江南。” 曾说：“本朝君德比较正，或者不至于到这种程度吧。”赵说：“君德正，然而国势隆盛之时，士大夫食君之禄报君之恩已经很多。本朝创业太易，诛戮又太重，夺取天下太过机巧。天道难知，善恶不相掩，后君之德泽，未足恃也。”

曾说：“吾日夜望死，忧见宗庙之陨落。你不是戏论吧？”赵说：“当着老师您，我虽善谑，何至以此为戏。”赵烈文出此言后．清朝灭亡果未出50年。

赵的谈话确实非常坦率，他实际上否定了清王朝“得天下”的道德合法性。

而清王朝善与恶并不互相掩盖弥补，何况“天道”已给他们带来了文治武功的“盛世”作为十分丰厚的报答，因此这些后来君主们的“德泽”并不能抵消清王朝“开国”时的无道，仍不足补偿其统治的合法性匮缺。对赵烈文从清王朝得天下的偶然性和残暴性这两点否定其统治的合法性的这番言论，曾国藩并未反驳。沉默很久后，曾才颇为无奈地说:“吾日夜望死，忧见宗庙之陨落”。“”是宗庙中藏神主的石屋，“宗之陨”即指王朝覆灭。曾国藩也预感到清王朝正面临灭顶之灾。

曾对此问题的看法仍十分复杂和矛盾。虽然承认“朝无君子，人事偾乱，恐非能久之道”，但又对清王朝仍抱某种希望，认为当朝的恭亲王奕䜣为人聪颖，慈禧遇事“威断”，所以有可能避免“抽心一烂”、“根本颠仆”的结局。而赵烈文则坚持己见，认为奕䜣“聪明信有之，亦小智耳”，慈禧“威断”反将使她更容易被蒙蔽。要想挽救颓局，像这样“奄奄不改，欲以措施一二之偶当默运天心，未必其然也”。“默运天心”颇有些神秘主义色彩，但在此更可将其理解成为一种“天道”、某种“历史规律”，局面如此不堪，如无体制的根本性变革仅靠这样头痛医头、脚痛医脚的修修补补，实则无济于事，而奕䜣、慈禧均非能对体制作出重大改革之人，所以清王朝难免分崩离析的命运。赵烈文端的是富有洞见，不仅对历史大势看得透彻，而且作为一个远离权力中心、根本无法近观奕䜣、慈禧的“幕客”，对此二人的判断却准确异常，为以后的历史所证明。奕䜣确是朝廷中少有的开明权贵，近代初期的一些革新措施大都与他有关，因此当时有视野开阔、思想开明之誉，但1898年清王朝救亡图存最后机会的维新运动兴起时，他却坚决反对，证明赵在1867年对他作的仅“小智耳”的论断不虚。慈禧乃至大清王朝以后不断为其“威断”所蔽所误，已为众所周知，无须再赘。赵的眼光，确实老辣。不仅如此，在清朝大兴文字狱，焚毁古书，和配置奴性思想的环境下，能做出如此推断，其功底之深厚可想而知。

颓败远远超过自己原来的预料，而朝中根本没有可以力挽狂澜之人。

曾对赵的论断仍无法或不愿完全相信，总感到清王朝还有一线生机。同治七年七月下旬（1868年9月中），曾国藩被任命为直隶总督。由于直隶管辖京城四周，曾国藩终于有机会第一次见到慈禧太后、同治皇帝、恭亲王奕䜣及文祥、宝鋆等高官，在几天之内四次受到慈禧太后的召见。对此，他当然倍感荣耀，直隶总督之职位不仅使他能近距离观察清王朝的“最高层”领导，而且使他能对全国的形势有更多了解，这时他才知道国家的颓败远远超过自己原来的预料，而朝中根本没有可以力挽狂澜之人。同治八年五月二十八日（1869年7月7日）晚上，他对刚刚来到保定直隶总督府的赵烈文坦承自己对时局、朝政的失望，对慈禧太后、慈安太后、奕欣、文祥、宝鋆、倭仁这些清王朝最高统治者们的人品、见识、能力、优点与弱点逐一分析点评了一番，分析点评的结果是他们皆非能担当王朝中兴重任之人。他们尚且如此，其余的人更加庸碌无为。曾国藩不禁哀叹清王朝的未来“甚可忧耳”。最终，他不得不同意赵烈文两年前的论断，清王朝已经病入膏肓，难以救药。

历史惊人准确地应验了赵烈文的预言，清王朝终于在1911年土崩瓦解，距1867年预言它不出50年就彻底垮台正好44年。而且，接踵而来的也是赵所预言的长期“方州无主，人自为政”，即军阀割据的混乱局面。当然，曾、赵已分别于1872和1893年去世，并未看到自己的预言和预感“成真”。对他们来说，这或许倒是一种安慰。

“能静居”、“天放楼”、“小脉望馆”为藏书之所。家有抄本极多，如《长春真人西游记》，是元抄本；邓帮述在《群碧楼善本书录》记载，在邓帮述年青时，曾在其外舅“天放楼”处，得见未见之籍，藏书有数万卷。和邵懿辰、莫友芝、许瀚、龚橙等藏书家交往甚密。子赵宽，字君闳，号止非，又号传侯，喜收藏古籍。“天放楼”藏书，后来归入了南京图书馆。藏书印有“赵氏惠父”、“惠父寓目”、“能静图书”、“烈文私印”、“天放楼”、“小脉望馆藏书”、“虞山侨民赵宽字君闳号止非又号传侯奕世嗜书窃比清常道人自颜藏书之所曰小脉望馆”等。

赵园，位于常熟古城区西南隅，建于明代钱氏“小辋川”遗址。清嘉庆、道光间，吴峻基筑水壶园，又名水吾园。同治、光绪年间为赵烈文退养故里之后时购得并增建，人称“赵园”、“赵吾园”。民初归常州盛氏所有，为天宁寺下院，又名“宁静莲社”。当年总体格局与多数景点基本保存，以水面为中心，又借景虞山，景点众多，为江南古典名园之一。赵园，位于常熟古城区西南隅，前临里九万圩，与曾园为邻，十里虞山遥向其背，天然借景，构思精巧，别具特色。此一清代园林，于江南有一定地位。

“赵园”是他寓居常熟时购得此园，加以扩建，遂名赵园，俗称赵吾园。园内筑有“能静居”、“天放楼”、“柳风桥”、“静溪”、“似舫”等建筑景观。