1952年，他又为奥地利国家队打过一场国际比赛。挂靴之后，默克尔开始光辉的教练生涯。他曾先后带领维也纳快速（1956/57赛季）、慕尼黑1860（1965/66赛季）、纽伦堡（1967/68赛季）与西甲马德里竞技（1972/73赛季）赢得联赛冠军。有趣的是，默克尔所执教的纽伦堡是2023年为止一支在赢得德甲冠军之后的一个赛季便降级的球队，尽管他在降级的那个赛季结束前已经辞职。

默克尔还曾带领慕尼黑1860获得1963/64赛季的德国足协杯冠军，带领马德里竞技获得1971/72赛季的西班牙国王杯冠军。作为慕尼黑1860俱乐部历史上最成功的主教练，默克尔还曾于1964/65赛季带领“狮队”杀入欧洲优胜者杯决赛，可惜最后以0比2负于英格兰的西汉姆联。此外，默克尔还担任过海牙、多特蒙德、塞维利亚、沙尔克04、奥格斯堡、卡尔斯鲁厄以及荷兰国家队（1954至1956年）的主教练。1978年，拜仁曾签下默克尔，希望由他接替匈牙利籍主帅久洛·洛兰特（Gyula Lorant）。不过拜仁球员却认为默克尔的管理手段过于强硬，拒绝俱乐部的这一任命，并一致要求聘请帕尔·切尔瑙伊（Pal Csernai）为新任主帅。此事后来被公之于众，最终使得被称为“现代拜仁之父”的俱乐部主席威廉·诺伊德克（Wilhelm Neudecker）辞职。