约瑟夫于1776年3月9日出生在意大利佛罗伦萨，他是神圣罗马帝国皇帝利奥波德二世（当时是托斯卡纳大公）与西班牙的玛丽亚·路易莎公主的儿子。他在1795年担任匈牙利总督，1796年获得了匈牙利的宫廷头衔，在奥地利军队中获得了元帅级的军衔。

约瑟夫一共有三次婚姻：1799年10月30日，在俄罗斯圣彼得堡与俄罗斯的亚历山德拉·帕夫洛夫娜女大公结婚，她是俄罗斯皇帝保罗一世·彼得罗维奇与玛丽亚·费奥多罗夫娜皇后的女儿，两人有一个没有存活的女儿。1815年8月30日，在德国绍姆堡与安哈尔特-贝恩堡-绍姆堡-霍伊姆的赫米内公主结婚，她是安哈尔特-贝恩堡的维克托·卡尔·弗里德里希与拿骚-魏尔堡的阿玛莉公主的女儿，两人有两名子女。1819年8月24日，在德国基希海姆与符腾堡的玛丽亚·多罗特娅女公爵结婚，她是符腾堡的路德维希·弗里德里希·亚历山大公爵（弗里德里希二世·欧根之子）与拿骚-魏尔堡的亨利埃特公主的女儿，两人有五名子女。