卡尔·阿尔布雷希特是巴伐利亚选侯马克西米利安二世与第二任妻子波兰公主特蕾莎·库内贡达·索别斯卡的儿子，波兰国王扬·索别斯基的外孙，生于布鲁塞尔。在西班牙王位继承战争中，维特尔斯巴赫家族分成两派，卡尔·阿尔布雷希特的父亲属于支持西班牙与法国的一派，其家族在战争中被奥地利俘虏。卡尔·阿尔布雷希特被带到维也纳，在那里由耶稣会会士教育。1715年，由于两支都臣服于奥地利的哈布斯堡家族，维特尔斯巴赫家族得以恢复统一。1717年，卡尔·阿尔布雷希特参加皇帝查理六世反对奥斯曼帝国的战争，在战斗中指挥一支巴伐利亚军队。1726年，他继承了父亲的选侯爵位。

尽管卡尔·阿尔布雷希特在查理六世为确保其女儿玛丽亚·特蕾西娅继承奥地利的国事诏书上签字，但在查理六世去世后，他是立即否认玛丽亚·特蕾西娅的继承权的王公之一。玛丽亚·特蕾西娅在诸侯的一片反对声中登上了奥地利王位，结果引发了包括西班牙、法国、波兰在内的欧洲大国介入的奥地利王位继承战争。卡尔·阿尔布雷希特在1741年被承认为波希米亚国王（通常由奥地利首席大公和神圣罗马帝国皇帝兼任的头衔）。1742年，德意志诸侯全体一致选举他为神圣罗马帝国皇帝查理七世。