金森氏左迁後，高山成为德川幕府的直辖地区，代官（地方官）、郡代（官名）等在此设置了办公机构，以管理飞驒地区的行政。这个办公场所（日语称“役所”），被称为“高山阵屋”，官员们在此下达命令、通知以及办理纳贡事宜等。自明治时期起，这里相继被用为县政厅（日语称“县厅”）、郡政厅（日语称“郡役所”）、政府分支机构（日语称“支厅”）等。在日本，代官所（地方政府）之建筑物保留至今的，唯此一处。

从「三町古街」出来右转、过朱红色的「中桥」後，便是进入肇建於大正十四年的「高山阵屋」。「高山阵屋」系为当年丰臣秀吉的家臣－金森长近被分派到此地後所建立的行政官署，也是全日本现存幕府郡代时期唯一的奉行所（掌管幕府直辖领地的行政衙门）遗迹。

「高山阵屋」始建年代为1615年，现存的屋舍，只有谷仓是始建年代时的建筑物，其它的建物是在1816年至1841年之间仿原样重建的，至今也已有400年的悠久历史。「高山阵屋」的内部空间配置为了保存原味，都依照史籍典故还原布置，其中包含拷问犯人的审讯所及竹编的刑具，仍然是旧时的讯问位置。