馆址是根津家族的根津青山的旧居。1945年曾因战争原因遭烧毁，1954年重建，1964年加以修葺，平成二年再次重修。这个旧居除了建有美术馆馆舍外，还有附属的根津青山庭园。这个典型的日本花园由青山於明治三十九年开始经营，历史悠久。庭园十分精致，典雅，院内有著名的十景：弘仁亭和无事庵、东熊野、YATSU桥池、HOTARAKA山、明月门、薬师堂、一树庵和披妪R、斑鸠庵、清渓亭、闲中庵和牛部屋和水琴窟、飞梅祠等。美术馆收藏十分丰富，除了书画之外，还有商周青铜器，历代雕刻，陶瓷，漆艺品，金属木竹雕刻，织染等工艺品。佛教艺术品的收藏也十分著名。宋元绘画品中最著名的莫过于相传是牧溪手书的“渔村夕照图” 。其他如镰仓时代的绢本“那智泷图” ，南宋时代的青瓷筒花生，桃山时代的绘志野水指，以及高丽茶碗、古芦屋松梅文真形霰釜、松屋肩冲茶入、黄瀬戸宝珠香合等也在日本非常有名。佛教美术品方面，有难得一见的金刚界八十一尊大曼荼罗图，以及从镰仓时代以来到室町时代的日本中世垂迹画。除了根津家族的藏品外，根津美术馆也获赠不少其他藏品，比如昭和四十九年秋山藏品也入藏根津美术馆，其中包括良宽和尚的一些真迹。昭和五十五年以室町时代水墨画闻名的小林收集品亦转入根津美术馆。同年，以收集近代工艺品的福岛藏品也入藏根津。全部藏品约有七千多件，其中被认定为国宝的藏品七件，重要文化财八十三件。