1770年，新宁（现台山市）知县康基田发动全县知识分子和商人捐银1400两，在现台山市中医院处修建宁阳书院，院内筑有藏书楼。它就是台山第一座向公众开放的图书馆，是台山市图书馆的前身。

到了光绪八年（1882年），宁阳书院经历112年风雨，已行将倒塌。新宁知县曾珩松倡议捐资在珠峰山（现台师中学校址）重建规模宏大的宁阳书院。新建的宁阳书院藏书楼于光绪二十四年（1898年）落成。

宁阳书院藏书楼落成之日，正是中国思想界激烈动荡之时。此前的1895年，康有为、梁启超在北京发动了“公车上书”，要求变法；1896年，梁启超在上海创办《时务报》，系统地宣传维新变法的主张，在中国知识界引起强烈的震动。宁阳书院教师黄朝槐深受梁启超的影响，他于1898年5月即戊戌变法前一个月，在台山发起成立“大学会”，并倡议全县知识分子捐资，购买介绍近代社会科学和自然科学的“中西有用图书”，放在宁阳书院藏书楼，使藏书楼成为宣传新知识的阵地。

宁阳书院于1905年改名为宁阳高等小学堂，1913年改组为新宁县立师范学校，1914年易名为台山县立师范学校，藏书楼成为学校图书馆。

1922年，藏书楼一分为二，划分为台山县立通俗图书馆和台山县立师范学校图书馆。

台山县立通俗图书馆1922年时暂设在县府内，1923年暂借县前路旧式祠堂为馆址。1928年时，台山、开平两县留美学生捐资订购当年北京、上海出版的新书，使图书馆藏书达到5800册，年经费2160元。图书馆在台城草朗街和台山五十墟各设一所阅报社，各有报刊二十多份，年经费名为300元。1934年，台山县政府在学宫路修建了台山县立图书馆新馆，并拨1万元购买图书和设备。

台山县立图书馆的职责除图书供阅外，还有开设免费的“夜半学校”，吸收识字不多的青年学习，并指导全县学校图书馆、乡村图书馆和阅书报社的工作。

台山在1914年出现都斛莘村阅书报社和公益中华基督教会阅书报社。到1934年，全县阅书报社增加到49所；图书馆有6所：台城青年全图书馆、公益大振图书馆、十区喜村秉正图书馆、海晏明胜图书馆、斗山浮石村图书馆和三合图书馆。1941年3月3日，日本侵略者攻陷台山，将台山县立图书馆和台师藏书楼的馆藏珍贵典籍悉数劫走，仅县立图书馆事先抢运出《四部丛刊》24箱1300册。

1946年，县图书馆改名为台山县立民众教育馆。1949年10月台山解放后，由台山县人民文化馆办理图书馆业务。1959年2月1日，台山县图书馆正式开放。

现在台山市图书馆馆址，是台山市旅港乡亲伍舜德先生捐资180万港元，黄乾亨、黄乾利昆仲合捐180万港元修建的，1987年1月12日正式启用。台山市图书馆外观既有古色古香的民族特色，又有高雅大方的现代美感。它花园广阔、环境优美而幽静，适于读者在内学习。它占地15076平方米、建筑总面积5780平方米。馆内有外借室、参考阅览室、特藏资料室、儿童阅览室、报刊阅览室、多媒体阅览室和自修室。馆藏书籍20万册，其中有《四部丛刊》、《古今图书集成》、乾隆版《二十四史》等珍贵古籍6000多册，有《白沙子全集》、《陈少白太夫人哀思录》等五邑典籍，其中《开平县志（1932年版）为五邑公共藏书孤本》。

近年来，图书馆深入地摊和废品站收集台山古籍和旧报刊，2000年12月在废品站抢救出两张新宁铁路载火车过江轮渡照片两张。2003年12月《台山报》停刊之前，图书馆在《台山报》设有《台山历史》、《台山专家名流》和《当年今日》三个栏目，系统地向读者介绍台山历史。2001年元旦，图书馆编发了两个整版的《台山百年回眸》，刊出珍贵的历史照片。2003年11月25日，在《台山报》刊出两版的《1909-1949台山报刊史》。

台山市图书馆自1990年以来，多次被国家文化部评为一级图书馆。

本馆共设有报刊阅览室、电子阅览室、综合阅览室、特藏阅览室、外借部、儿童阅览室、采编部、信息部、培训中心、办公室等部门。现将各个部门介绍如下：

外借部

位于馆内南座一楼的外借部，共有图书10多万册，采用全开架式的借阅方式，设有新书专柜、热门书专柜等二个专柜，每月定期写出新书报道，给读者介绍最新的书。凭借书证外借图书，具体办证方法见办证指南。

报刊阅览室

位于馆内东座一楼左侧的报刊阅览室共有各类报纸160多种，杂志400多种，内容丰富，深受读者喜爱。共设有读者座位250多个，不须凭证就可入室免费阅览。装订成册的期刊可凭借阅证阅览。

少儿阅览室

专为少儿设置的藏书室，欢迎小朋友来阅览。如需借阅，可以办理少儿借阅证，凭证一次借阅一至二册图书，借期一个月。

电子阅览室

自96年初正式启用以来，服务内容及阅览环境不断扩充，现有多媒体电脑光盘、软件光盘、各类VCD影碟数千张，电脑设备90多台，颇受读者喜爱。 服务内容如下： 1．提供免费网上读者阅览服务。2、多媒体电脑和VCD机给读者在馆内上机学习及观看影碟。

信息部

服务内容：1、专题检索服务 通过远程电脑联网及其他多种途径，为社会各界查询各类所需信息，包括各行业的专业技术资料、产品、生产厂家、企业地址、市场动态、 国家标准、各式线路图表、行业政策法规等各类专题资料。 2、剪报服务 根据企业或读者所拟专题，广泛搜集报刊资料。3、复印服务。

特藏阅览室

该阅览室收集了台山地区及五邑地区各种定期和不定期出版物共20000多册，范围包括本市市直机关及新闻出版部门，科研机构，厂矿，学校等企事业单位，各群众团体，学术团体所编印的简报、通讯、书籍、杂志、报刊、学校、教材、目录、索引、图片、画册、手册、年鉴、地图、资料汇编、会议特刊、专刊、科技资料、成果汇编、产品目录等公开流通的和一般性质的内部刊物以及本市的侨刊、报纸。藏书特色以地方文献资料、排球资料、华侨资料为主，并收藏有古籍线装书近一万册。

培训中心

承接社会各界教育培训及各种讲座。

2023年12月18日，被文化和旅游部评定为一级图书馆。