13岁的时候，阿尔弗雷德·哈约什的父亲溺水身亡，这让哈约什下觉决心成为一名优秀的游泳运动员。第一届夏季奥运会于1896年在希腊雅典举行，当时游泳比赛在水温13度的海湾中举行。哈约什在同一天举行的100米和1200米自由泳比赛中，都获得金牌。在长距离比赛中，所有的运动员都由船送到海上，然后跳进海里，再游回岸边。由于比赛是在海湾中举行，而且海水非常凉，运动员受到冰冷的海水的影响，“我必须拼命的游，我担心如果我在这么冷的海里抽筋的话，我可能就没命了，我对生命的渴望超过了我对胜利的追求”。他不但是游泳运动员，他也参加足球比赛，并且是第一届匈牙利国家足球队的一员。在哈约什的有生之年中，他在建筑艺术上留下了很多财富，他设计了世界上第一座室内游泳池，成为匈牙利现代体育建筑的开创者。1924年，哈约什还获得奥林匹克艺术比赛的设计冠军。