水塘公园的前身是于1899年建成的黄泥涌水塘，是香港的第三个水塘。水塘有一弧形的水坝，高50呎、长270呎。

1930年代初期，英军意识到日军可能会攻占香港，加上黄泥涌峡在军事上的重要性，所以兴建了大规模的防御工事，包括皇家炮兵第5AA高射炮阵地、榴弹炮炮台以及多个机枪堡等。1941年12月8日香港保卫战爆发，而日军于12月18日成功抢滩香港岛北角，12月19日已抵达黄泥涌峡。当时英军第3义勇军步兵连第7、8、9排，少量苏格兰营及加拿大温尼伯榴弹兵部队D连，为扼守这个通往香港岛南部的要道以及黄泥涌水塘，与日军爆发激战。虽然英军的顽强防守使日军有600多人伤亡使义勇军第3连成为抗战英雄，但日军于12月23日终于成功占领黄泥涌峡及水塘，断绝了香港岛的供水。由于英军已经无险可守，加上香港另一主要山峡湾仔峡于12月24日亦失守，惟有选择投降，结束了香港保卫战，并开始了香港日治时期。