第一次世界大战时，他是个中尉，1915年战伤，转往参谋官负责谋略，一战结束后他续留在军中，1934年升为上校，1935年被任命德国第10军参谋长，1937年担任装甲旅旅长，1938年升为少将，1939年担任威廉·李斯特上将的参谋长。

第二次世界大战在马肯森担任德国第14军团参谋长，于1939年9月谋略进攻波兰；接着转任德国第12军团参谋长，谋略法国战役 (二战)，1940年1月1日他晋升为中将，八个月后又升官为骑兵上将，1941年1月升任东战场德国南方集团军属下德国第3装甲军司令，1942年11月埃瓦尔德·冯·克莱斯特陆军元帅升任东战场德国A集团军司令时，马肯森随即升任德国第1装甲军司令，并于1943年3月参与哈尔科夫反击战役，大战苏联红军，稍后因战功晋升陆军大将，但在同年的顿巴斯战役和第聂伯河战役被红军马利诺夫斯基和科涅夫击败，被撤销职务。不久马肯森被重新启用，派到意大利担任第14军司令，在卡西诺山地之战对抗英美盟军，到1944年他因防线被突破被勒令退役。他在战时荣获橡叶骑士铁十字勋章。