乾隆四十六年（1781），知府康其渊改“紫阳书院”为“信江书院”。此后各任官员又进行了维修和大规模扩建。此时的《信江书院》“自大门入，历阶而升，为前厅，为讲堂，为泮池……缭以石栏，荫以嘉植，静与神会，旷若天游”，气概委实不凡，其间青云阁，一塌轩、中道亭、文汇轩、万锦书屋、浦溆潆洄、凌云精舍、四照亭、半山亭、夕秀亭等星罗棋布，参差错落、交相辉映。书院蔚然壮观，成为一完全园林化的学堂了。

清嘉庆十四年（1809年），王赓言带头捐资买下附近民房，使信江书院规模扩大到占地6万平方米（现遗存2万平方米）。

到了清朝末年，书院制度经过漫长的发展过程，随着封建社会没落，整个教育事业颓败，书院也日渐腐朽，积弊愈来愈深，已难育异材，书院改制势在必行。中日甲午战争以后，全国大大小小的书院陆续改成了新式学堂。光绪二十八年（1902年）信江书院改设广信中学堂（今上饶市第一中学前身）。民国初，称信江中学。继之，先后改为江西省立第十中学、第六中学。建国初，称省立上饶中学校。后又嬗递上饶中学分部、上饶初级中学、上饶县中学、上饶师范学校校址。

土地革命时期，赣东北苏区创始人黄道、邵式平等曾在此从事教育工作，传播马克思列宁主义。解放后，为缅怀先烈业绩，在院内岗顶上修建了上饶专区革命烈士纪念碑，在院址东隅修建了黄道烈士墓。

1987年，信江书院被列为江西省文物保护单位。

2007年以来，先后投入700多万元人民币修缮古建，整修环境。

信江书院位于上饶市区的南屏山北麓，“钟山峙于后、灵山揖于前”，中部隆起，古称道观山，北环信水，西带丰溪，东与祥符寺（今市人民医院）相临，占地一百余亩，地理环境优越。

地理坐标为：东经117°37′30″、北纬28°26′30″之间。

自信江书院沿河而上，山峦起伏，森林植被茂密，自古有南屏山之称。从汉唐以降，寺庙、祠宇和楼台亭阁密布，南屏山被视为府治郡城风水格局中的案山，自然生态环境一直受到比较好的保护。由于其特殊的地理位置，古往今来，一直吸引着许多文人、墨客的寻幽探古之情，留下了许多珍贵的题记和吟咏之作，其中包括陈运和的诗《信江．书院．师范》。自清代以后，信江书院脱颖而出，独领风骚三百余年，名播远近，成为上饶人杰地灵、人文荟萃的重要象征。

现存信江书院总面积约2万5千多平方米。乾隆全盛时期超过六万多平方米。在这样大的地面空间里，书院北区和中区的布局有紧凑严密又自然成趣的特征，而其它几个区域则较为松散。

书院保存的古建筑有钟灵台、春风亭、一榻轩、夕秀亭、讲堂、十八排(学舍)、日新书屋、又新书屋、经训堂等10多栋。旧址内仍见阶曲廊回，古木参天，修竹夹径，景色幽美。

在鹅湖、白鹿洞两书院前方不远处，皆设有接官亭，以便远道而来的官员能在其中稍事小息，整顿衣冠，然后从容步入至圣门，这是一项精细设计。而信江书院以其紧靠府城之故，便省略了这一环节。

信江书院的特色，在于它既遵循了由封建伦理道德观念出发而逐步形成的标准化程式，又不为其所限，有创新，也有突破。这就是以主体建筑为中心，大规模地向横的方面发展，向主体建筑的东、南二个方面发展，依据地形地貌，巧妙吸取和灵活运用了江南园林建设的一些特点及其表现手法，以适应封建士大夫和文人学士山水情趣的需要，精心设计，合理布局，围绕着主体建筑先后连续展开、相继组成了若干个各有个性特征，又有相互联系的院落单元，或称建筑群。彼此之间，看似形离而实则神会，一组组小建筑群都自然和谐地融合在一个大建筑群体中，显示出剪裁、组合的独特匠心，这部分建筑，本着儒家“诗书礼乐”的综合教育思想，也就堂堂正正纳入了书院建筑建置之内。我们为有别于单纯祭祀系统和教育系统的建筑，而统称之为游乐系统的建筑。比如高台崇阁，宜于俯览山河，吟诗作赋，陶冶情操，也就具有了对人的心灵潜移默化的功能。这是与封建社会中以小农经济为基础带有强烈“耕读文化”色彩的历史氛围相一致的。

在乾隆年间扩建信江书院时，于讲堂东辟青云阁，于阁门前置碑亭，原意显而易见，是欲形成仅次于西侧主体建筑的第二组建筑，以弥补主体建筑限于地形所限，纵深较浅而造成形制上的不足。后来几度修葺，礼崩乐溃，突破框框，这第二组建筑便主要朝着游乐系统发展了。于是阁后有蒙泉、鱼计之设，拾阶而上，置中道亭，与观善堂相通，复因地势建夕秀亭，改青云阁为青云别墅，与凌云精舍相对称。这样，紧依第一组建筑东侧展开的既有精舍又有亭阁的第二组建筑，便成为介于教学和休闲两大系统之间的过渡性建筑，承上启下，在总体布局上起了很好的缓冲作用。

第三组建筑是游乐系统中的重点园林区，故穷极精思，选取院中位置适中，地势险要的傍水冈丘上，劈坡斩石，飞悬栈道于其上；临水傍江，巧构亭榭于其间。据冈平基，高筑厅堂，设苍玉，置景中之景，叠假山，成山外之山。处处因势随宜置景，少事雕凿而自然成趣；稍加开拓而格外雄奇。若使阴雨霏霏，大雾漫江，身临其境，信步于亭廊之间，便会有一种飘飘然游乎方外，缈缈乎入于仙境之感。故前人大书三字于其境，曰：“小蓬莱”。王赓言《亦乐堂示肆业诸生诗》中有几句情景交融的佳句，也正是在细雨绵绵、薄雾蒙蒙中写成的：“子衿城阙漫兴歌，邦彦仪型自昔多。山向南屏新拓地，水流中沚渐抽莪。……风雨千秋聊尚友，□畲经训意如何？”

第四组建筑沿第三组建筑之余韵，在东廓原谷神道院内以轻描淡写式的手法，在河边小支流上架一小石拱桥，旁建一亭，曰：“问月”，保留了谷神道院寮舍、浮惠殿、经训堂等古建筑，拓展了书院东廓景观。

而在道观山南，则因地势低平，广凿池沼，形成了听蛙池、浴德池、努力风云等富有山水情趣的格局，兼容并蓄了唐宋时代留存下来的一杯亭、溪山堂、含辉阁等，在书院内构成了一个文化园林，满足了达官贵人和文人雅士聚会宴游的客观需要。

总之，或因疏流而凿池，或依盘石而建阁，凌险筑台，临水构榭，皆信其自然而巧加点缀，因势造景，以景烘势，构成一幅自然和谐的环境美。

从以上分析可以看出，书院建筑建置从遵循教化功能出发，除主体建筑祭祀系统基本程式化而刻板外，自由清新的园林化建筑逐渐融入书院的建筑建置内，逐步发展成游乐系统的建筑，拓展了书院建筑规模，反映了中国旧书院制度从单纯聚书、著书、藏书——到聚徒讲学——到闲暇聚会、宴游相结合的演进过程，逐渐使书院的社会教化功能趋向多元化。信江书院的建筑建置布局，尤其反映了这一趋势。

解放后，党和人民政府对信江书院很重视。1983年，经市政府审定公布信江书院为市级文物保护单位。1987年，江西省人民政府批准为省级文物保护单位。