1928年台北帝国大学成立之初，以原台北高等农林学校校舍为基础，图书馆亦于同年3月由总督府营缮课负责兴建馆舍，称为「台北帝国大学附属图书馆」。 1945年台湾光复，同年11月15日政府接收「台北帝国大学」，改更名组后为台湾大学，图书馆亦同时改隶，溯至本馆创设，至今已有80年历史。

图书馆新馆自1986年7月规划施工以迄落成历经12年，于1998年11月正式落成启用。新馆建筑由沈祖海建筑师事务所设计，以山墙、拱窗作为旧总图书馆建筑语汇的延伸，具有承先启后的意义；而对称、稳重的造型也有传达知识殿堂的意涵。自此，各式服务也迈入新的里程，新馆集中校总区原有34所院系单位图书馆室分散式的服务，既有效纾解过去分散式人力配置的窘困，提供集中典藏空间，又解决读者以往费时奔波各馆室间查询资料之辛劳，并进而提供多元化、专业化与效率化之服务：如延长开放时间、增加借书册数与借期、提供更多电子参考工具与电子全文期刊、启用首创的随选资讯系统、进行特藏资料数位化工作和举办艺术品展览等。