冯平山楼于1932年兴建，并于同年12月14日正式启用。冯平山楼由当时香港富商冯平山捐款兴建，用作中文图书馆之用，该图书馆亦被命名为冯平山图书馆。

1953年，冯平山楼增设中国艺术及考古学陈列所，作教学、研究及展览之用。至1961年，香港大学图书馆大楼建成，冯平山图书馆的全部藏书于翌年搬到图书馆大楼四楼。而冯平山楼则改为冯平山博物馆，成为展览场地，并于1964年1月31日正式向公众开放。由于冯平山楼部份地方也是艺术学系及香港大学出版社的办事处，因此校方于1969年底在大楼的东翼加建一道木梯，方便他们出入。

1994年，徐展堂楼落成，其最底三层成为冯平山博物馆新翼，博物馆改称香港大学美术博物馆。