高殷死后不久，高演因病驾崩。高归彦前往邺城，拥立长广王高湛为帝，史称武成帝。高湛加封高归彦为太傅、司徒，允许他带卫士三人佩刀入宫。当时，高归彦所到之处，举座倾倒，满朝贵戚争相结交。他位居将相，更是志得意满，出言傲慢，旁若无人。高元海、毕义云、高乾和等人都认为其威权震主，将来必为国家的祸害，多次向皇帝揭发他的过错。而高湛也想起他以前反复无常的事迹，对他逐渐疏远。

河清元年（562年），高湛让魏收起草诏书，欲加封高归彦为右丞相。魏收却对高元海道：“陛下以右丞相的身份即皇帝位，如今高归彦威名过盛，怎能再任命他为丞相。”高元海告知高湛。高湛遂任命高归彦为太宰、冀州刺史，并传敕令给宫门侍卫，不准高归彦入宫。当时，高归彦正在家中纵酒豪饮，对此丝毫不知。次日入朝，方知自己已被外放，大惊之下退回家中。等他通名谢恩之时，高湛早已将敕令发出，让他及早动身赴任，并让武职官员全部去青阳宫送行，同时又赏赐钱帛、鼓吹等物，。

高归彦到冀州后，心中不安，便欲在高湛前往晋阳之时起兵，趁虚攻入邺城。郎中令吕思礼向朝廷告发，高湛则命平原王段韶负责征讨。高归彦通过私设的驿站得知这一消息，便闭城坚守，并将不愿随从造反的长史宇文仲鸾、司马李祖挹等五人全部杀死。不久，朝廷军队逼近冀州，高归彦登城大叫道：“孝昭皇帝驾崩时，六军百万之众全都归我指挥，我却到邺城拥立陛下。我当时没有造反，如今难道会有二心？只因高元海、毕义云、高乾和欺蒙皇帝，妒恨忠良，这才被迫起兵。只要杀了这三个人，我立即自刎谢罪。”后来，冀州城破，高归彦单马北逃，结果在交津被擒获，锁送邺城。

高湛命赵郡王高睿私下去见高归彦，询问他造反的原因。高归彦道：“陛下让高元海、高乾和这些黄领小儿挟制于我，我怎能不反？陛下重用的若是赵彦深，我又怎会心怀怨恨？”高湛又命使者前去斥责。高归彦仍道：“高元海收受毕义云的房宅，任命他为本州刺史，还赐予后部鼓吹仪仗。而我身为藩王，官居太宰，却没有得到鼓吹，所以要杀高元海、毕义云方能解恨。”高湛命都督刘桃枝将他押入宫中，高归彦仍旧这么说，并希图活命。

高湛命大臣公议高归彦之罪，群臣都认为他罪不可赦。高湛遂将高归彦关在一辆露车（没有帷盖的车子）上，嘴中衔枚噤声，双臂反绑于背后，又让刘桃枝站在车上，用刀架着高归彦的脖子，后面让人击鼓跟随。最终，高归彦及子孙十五人全部被斩首弃市。后来，高湛又将高归彦全家百余人赐给高岳的子孙为奴。

高洋在位时，曾到武库中挑选兵器赏赐大臣，将两片石角赏赐给高归彦，并对他道：“你以后帮高演做事时不会谋反，但在帮高湛做事的时候却一定会谋反。谋反的时候，就用这两片石角去吓唬人！”高归彦的额骨有三道隆起，戴头冠也戴不稳。高洋用马鞭抽打他的额头，打得他血流满面，骂道：“你以后造反，这种额骨也可以吓人啊！”后来，这些反叛的预言竟都应验了。

李延寿：思好属昏乱之机，归彦因猜嫌之衅，咫尺邺都，以速其祸，智小谋大，理则宜然。

高归彦是北齐宗室，出身于渤海高氏。他与高欢、高岳、高洋、高元海等人的关系详见下表：

表格参考资料：

母亲：王氏，长安人氏，后封平秦王太妃。

妻子：元氏，上党王元天穆之女，生性好妒，与高归彦不和。

《北齐书·卷十四·列传第六》

《北史·卷五十一·列传第三十九》

定州刺史高归彦造白玉释迦像记

定州刺史高归彦造白玉释迦像记，即高归彦造像记，刻于东魏武定元年（543年），1921年在河北定县众春园出土。造像座为白玉石造，上部释迦像已佚。造像记刻在佛座四周，楷书，计二十七行，行七字，中有二行六字，末行三字。

现存河北定州，故宫博物院藏有初拓本。此记书法娟静和美，俊秀温雅。与北朝造像记中方笔锐锋，棱角森挺的书风不同，也与一些粗头乱服、率稚拙的造像记的字迹迥异，在北朝书法作品中实属罕见。