北宋太平兴国五年（980年）迁幕府山清凉广惠禅寺于此。

明朝建文四年（1402年），周王朱橚重建，始定名清凉寺，后毁于太平天国年间，虽经清末重修，今亦不存。明世宗嘉靖年间，督学御史耿定向在清凉山东峰建崇正书院，讲学课徒，培养了不少人才。后毁于太平天国年间，同治四年改建为小九华寺，一度香火兴旺，1966年又被毁。

清朝康熙年间，被誉为金陵八大家之首的画家龚贤在清凉山西麓置地半亩，建屋数间隐居，取名半亩园；相传今扫叶楼即龚贤故居。原建筑毁于太平天国年间，清光绪十五年（公元188c年）重建，现经维修，保存尚好。

民国十九年（1930年），市公园管理处把清凉山列为公园，划交鼓楼公园办事处兼管。

民国二十三年（1934年）4月11日，蒋介石电军政部、军委会迁移扫叶楼驻军。

民国二十六年（1937年）底侵华日军侵占南京，山林与建筑皆遭破坏。

1961年辟为公园。文革中遭到破坏。

1970年代末，开辟城西干道（虎踞路）时，为降低路面高度，挖掘山体，切断了清凉山，道路以东部分恢复为清凉山公园，山上有清凉寺、扫叶楼、还阳井、崇正书院、翠微亭、驻马坡等古迹。清凉寺旧藏“三绝”，即董羽画龙，李后主八分书和李霄远的草书。道路以西清凉山西部的石头城（包括其南北的悬崖峭壁和一段明城墙）被分割开来。

1980年重建崇正书院，现为中华奇石陈列馆。

2014年，清凉山通道连接清凉山与国防园山体的工程完工，石头城和清凉山连接起来，成为南京城西一个完整的的旅游景点。

2021年1月，南京清凉山景区被评为国家AAA级旅游景区。

公园大门为牌坊式三拱门，中门上“清凉山”三字为扫叶楼主龚贤所书。清凉山上，名胜古迹随处可寻，有“驻马坡”、“南唐古井”、“清凉寺”、“崇正书院”及“扫叶楼”等。其“德庆堂”的匾额为后主李煜亲笔所提。每到夏天李后主常留宿于此。寺内旧藏董羽画龙，李后主八分书和李霄远的草书，合称该寺“三绝”。寺内有井，名“保大泉”。

相传寺僧因此井水，虽老须发不白，故又名“还阳井”。清凉山南麓有明末清初著名的爱国诗人，画家龚贤的故居。清凉山后坡，为诸葛武侯驻马坡。相传诸葛亮为联吴抗曹，曾亲赴京口与孙权会谈，途经秣陵时，曾作短暂逗留，骑马观察了秣陵的山川形势，并留下“钟阜龙蟠，石城虎踞，真帝王之宅也”的名言。

清凉山西部有一段石壁，长6米，宽3米，上面坑坑洼洼，凹凸不平。因石质以砾岩为主，呈赤色，中间夹有紫色和黑色的岩石，苦似一张面目狰狞的“鬼脸”，因此成为鬼脸城。据说以前这块岩石犹似刀削一般，光滑似镜。有一次，清凉山的一个山怪出来坑害百姓，正好被一个专为人间除妖的仙人发现，遂紧追不舍。山妖逃至此地，无处藏身，就隐身峭壁，仙人用照妖镜将它照住，鬼脸才露了出来，光滑的山壁于是就变成了这样。为了防止山怪逸出，仙人又置镜于崖前，后来变成一个池塘。

驻马坡是清凉山最早的遗址，关于“虎踞龙盘”最早的说法最早来自于诸葛亮。公元208年，曹操率领的千里船队把卖草鞋出身的刘备逼的走投无路，多亏诸葛亮及时出使江东，游说孙权，才使兵力稍逊的孙、刘得以结成联盟，并胜拒曹操，演义了精彩绝伦的赤壁之战。史料记载：诸葛亮有一次经过秣陵（今南京），曾经骑马仔细的考察了当时南京的地形，他看到了以钟山（紫金山）为首的群山，像苍龙一样蜿蜒盘附于东南，以石头山（清凉山）为终点的诸山，又像猛虎似的雄踞在长江之滨，这样的天然风光气质使他不禁感叹到“钟山龙盘，石城虎踞，此乃帝王之宅也”。于是回去力谏孙权，孙权于211年迁都于此，在金陵邑的基础上修建了“石头城”，清凉山因此称之为“石头山”。史料记载；驻马坡在清凉山东大门内，此处以立著名书画大师刘海粟所写的“驻马坡”刻石。

扫叶楼在西侧山坡上，是座三开间二层翘角木结构建筑，为龚贤旧居。龚贤（1619～1689年），字半千，明末清初著名画家、诗人，明亡后在清凉山定居。他曾作自画像，手执扫帚作扫落叶状，因之称扫叶楼。

清凉寺又称石头清凉大道场、清凉陟寺，位于南京城区西部清凉山上，法眼宗祖庭，金陵四十八景之一。该寺前身为五代十国杨吴顺义三年（921年）徐温始建的兴教寺。南唐李后主常来此打坐念佛，故又称“避暑宫”。南唐圣元元年（937年），李璟在此避暑纳凉，改寺名为“石头清凉大道场”，后主李煜亲题“德庆堂”。文益长居此寺，并建法眼宗。北宋太平兴国五年（980年）重建。明建文四年（1402年）由朱棣重建，改额为“清凉陟寺”。“清凉问佛”明清时被列为“金陵四十景”之一。后历经太平天国、中日战争、文化大革命等劫难破损。2003年重建，2009年重新开放。

清凉寺现仅存五开间平房一座，红墙黑瓦，四周植桂花与翠竹，门上书“古清凉寺”四字。房前围墙圆门上书“清凉别苑”，房后有六角亭一座，亭内一口古井，称还阳泉。

崇正书院在清凉寺东侧山坡上，明嘉靖年间修建。整个建筑依山势而宜，绿树掩映，古雅清静，院内假山、水池、凉亭、徊廊相连，以及随宜点缀的花草、竹丝，具有典型的江南园林风格。书院共三进，前两进两侧有游廊相连。第三进称“清凉胜境”，筑于高处，正殿是一座高6 米、宽16米、深20米的重檐翘角古建筑，殿前有水池与石刻的流水龙头，西侧是二层的“江天一线阁”，东侧有假山、水池、六角亭。现崇正书院辟为中华奇石馆。馆东边有驻马坡、翠薇园等景点。1980年，南京市政府拨款重修崇正书院，由著名建筑专家杨廷宝亲自指导设计方案，历时两年竣工。

魏源于清宣宗道光十二年（公元1832年）在龙蟠里购下草房一处，紧邻乌龙潭，取名小卷阿，在这里著书立说，其中受林则徐委托编纂的《海国图志》影响最为深远。魏氏后人世居于此。今龙蟠里20号尚存小卷阿遗址，而魏氏后人已绝。惜阴书院背负盔山，1910年由缪荃孙主持，据此创建江南图书馆，以巨款购入钱圹丁丙八千卷楼藏书六十万卷，及武昌范月槎木樨香馆藏书四千五百余种。江南图书馆名称多次变易，后归入南京图书馆，现址为该馆特藏部。

清凉山位于南京市鼓楼区广州路西端，是南京城西部的一片丘陵山岗，海拔63米多，山势椭圆，蜿蜒伸展于汉中门至定淮门一带。清凉山山高100多米，方圆约4公里，建有清凉山公园。园内树木葱郁，地势陡峻。