在德川纲重死后，纲豊从父亲那里继承了甲斐25万石的领地。此时的浜离宫便是甲府宰相德川纲豊的“浜御屋敷”。宝永元年（1704年），纲豊被五代将军德川纲吉认作养子，接入西之丸居住，改名为德川家宣。家宣既然成为将军纲吉的后继人，“浜御屋敷”也就变成了将军家西之丸的别邸。

接着，将军纲吉对“浜御屋敷”实施了大改造。改造的原因是因为这里面向江戸湾，如此可以加强江戸的海上防备工事力量。改造工程除了在此地设置射场和马场 以外，还建造了停泊军船的船着场、瞭望警戒江戸湾的望楼。另外，一些与防备工事并无关系的建筑，如中嶋茶屋、海手茶屋、清水茶屋、观音堂、庚申堂、大手 门、大手门桥等，也在同一时期内建设完成。

至于“浜御屋敷”何时成为有潮水引入的庭园，并不是很清楚。但是，芝离宫庭园在贞享年间（1684年～1688年）初期，就已经具备了有潮水的泉池，据此可以推断，将军家的别邸庭园“浜御屋敷”的“潮入池”应该也是在同一时期建造的。

宝永六年（1709年），纲吉去世，家宣继任第六代将军，“浜御屋敷”正式成为将军家的别邸，于是改名为“浜御殿”。

德川吉宗的时代

八代将军德川吉宗为了再次建立幕府财政，对社会全体的勤俭节约行为加以奖励，而这一政策连带的副产，就是对将军自家的事物也就不好大肆破费了。因此， “浜御殿”在享保九年（1724年）遭受大火损害后，将军吉宗只保留了对茶屋、门、桥等少部分建筑的修复工作，其余的一概免除。不仅如此，吉宗还在这片土 地上建造了织殿、锻冶小屋、制糖所、制盐所、药草园等，用以兴办产业。

德川家齐的时代

在德川家齐的时代，“浜御殿”在享保大火中被损害的部分终于得到了修复。另外，还增加了一座鸭场，即新钱座鸭场；重新布置了庚申堂鸭场。其它添置的还有御亭山腰挂（凳子）、松原腰挂、五番堀腰挂等等。至此，“浜御殿”内的钓鱼、鸭狩④、骑马等休闲娱乐活动一应俱全了。后来，为了“哀悼”那许许多多“牺牲”的鸭子，庭园内还设置了用来供养鸭子的鸭碑。

鸭碑 鸭场迹

幕末的“浜御殿”

在德川家齐之后直至幕末时期，“浜御殿”都没有什么大的变化。然而，黒船⑤的不断来航，使得“浜御殿”的海上防备形势变得紧迫起来。庆応二年（1866年）“浜御殿”归并入了海军奉行所的管辖，开始着手建设海军讲习所以及师生宿舍等建筑。与此同时，明治维新已经拉开了序幕，随着幕府的倒台，海军讲习所等建设工程就此被搁置了。

明治时代以后

明治三年（1870年），“浜御殿”移交给宫内省管辖，遂改称为“浜离宫”。明治十六年（1883年），象征欧化主义的鹿鸣馆建成，以作为接待外国宾客的场所。明治二十年（1887年），明治天皇便是在鹿鸣馆内迎接了美国的格兰特将军。

后来，“浜离宫”经历了关东大地震以及东京大空袭，大部分的建筑物都毁于一旦。二战之后，日本政府对“浜离宫”进行了一定程度的修复。昭和二十年（1945年）11月13日，宫内省将“浜离宫”的土地、建筑物、工作物等的全套，一并下赐给了东京都。从昭和二十一年（1946年）起，“浜离宫恩赐庭园”开始对公众进行一般性的开放。

①潮入庭园，是指将潮水引入泉池，使池中景象随潮涨、潮退而变化的庭园。

②鹰狩，即鹰猎，一般是以放鹰抓鸟的方式来对自己豢养的鹰进行训练。

③筑山，即假山。

④鸭狩，即猎鸭活动。

⑤黒船，指幕府末期来到日本的美国轮船。