象山邨前身是城门道与老围村之间的一片农地和象山寮屋区。象山寮屋区因被政府徵用发展公共屋邨，在1975至1976年期间清拆，建成的屋邨随之命名为象山邨，并于1978至1979年间入伙，由高耀物业管理有限公司负责屋邨管理。

由於象山邨的位置与圆玄学院非常接近，所以其酒楼曾经吸引许多於圆玄学院拍戏的明星光顾。不过，象山邨居民较喜欢於早上前往荃湾市中心喝茶，然後买菜回家做饭，令光顾象山邨酒楼的客人愈来愈少，後来酒楼结业，该址改为老人院。