建造者为三田藩士・小寺泰次郎，其在幕府末年到明治维新期间，为重振三田藩经济，与九鬼隆义、白洲退藏（白洲次郎的祖父）等人一起在神户发展实业成功后，建造该园作为其私人庭园。工程开始于1885年，直至1911年才建成规模宏大的庭园。当初主人起名为“苏铁园”，后来在1941年移交给神户市后，改名为“相乐园”（取自中国古籍中的“和悦相乐”语），并对外开放。

庭园基本布局为池泉回游式，同时受到西洋文化的影响，建造了一个广场。在二战前，园内建有小寺家私宅等多处建筑。但在1945年6月的神户大轰炸中，除了欧式风格的旧小寺家厩舍（重要文化财产）以外，全部被战火烧毁。但从现存的苏铁树林、大灯笼、围墙、大门等可以推想当初宅院的宏大规模。

第二次世界大战后，从神户市各地将一些重要的古建筑拆卸移建至园中，另外也新建了会馆、“浣心亭”等景观，丰富了园内的观赏性。