卡尔二世于1540年在维也纳出生，是神圣罗马帝国皇帝斐迪南一世和匈牙利和波希米亚的安娜的三子。他的外祖父母是匈牙利和波希米亚国王乌拉斯洛二世和他的第三任妻子安妮·德·富瓦。卡尔和英格兰女王伊丽莎白一世的婚姻谈判曾于1559年和1564年到1568年期间进行。斐迪南一世皇帝希望伊丽莎白能在婚姻条约中承诺，如果她无嗣而终，那么卡尔将以已故女王配偶的身份继承英格兰王位。谈判拖了很久，直到女王决定不嫁给大公。除了女王的性格外，宗教信仰是这场婚姻的主要障碍。1563年，卡尔又向苏格兰女王玛丽一世求婚，玛丽的舅舅洛林主教夏尔·德·洛林曾建议玛丽嫁给卡尔，以在统治苏格兰方面获得援助。然而，玛丽和卡尔的哥哥马克西米利安都不同意这场婚事。

与哥哥马克西米利安二世皇帝不同，卡尔是一个虔诚的天主教徒，并且是反宗教改革运动的推动者，他还曾邀请耶稣会会士到其领地。然而，之后，他又不得不在宗教信仰方面做出重大让步，这也使他得到了新教徒的宽容。由于内奥地利是抵抗土耳其人的主要战场，1579年，以其名字命名的要塞卡尔洛瓦茨（现位于克罗地亚境内）建成。卡尔也是艺术和科学的赞助人，其中包括他的追随者古典音乐作曲家奥兰多·德·拉絮斯和音乐理论家洛多维科·扎科尼。1573年，卡尔在格拉茨建立了阿克德米舍斯高级中学（Akademisches Gymnasium ），这也是施泰尔马克州最古老的学校。1580年，卡尔将起源于安达卢西亚的种马引入斯洛文尼亚，该种马也在利皮扎马的培育中发挥了至关重要的作用。1585年，卡尔创立了以其名字命名的卡尔·弗朗岑斯格拉茨大学，简称格拉茨大学。1590年，卡尔在格拉茨去世，他被安葬在塞考修道院内。