韦尔夫家族起源于德意志，8世纪—9世纪时就已在士瓦本和勃艮第拥有辽阔的领地。鲁道夫一世（912年卒）在上勃艮第称孤道寡；其子鲁道夫二世（937年卒）在923年—926年间短暂统治过意大利。巴伐利亚公爵韦尔夫三世之妹康尼根达与意大利豪门德斯特家族的始祖阿尔贝托·阿佐二世结婚，此后的韦尔夫家族实际可视为德斯特家族的一个分支。

阿佐二世的长子韦尔夫四世于1070年被神圣罗马帝国皇帝亨利四世封为巴伐利亚公爵；其子黑亨利（1126年卒）将萨克森的部分土地——其中包括日后家族最重要的领地吕讷堡——并入巴伐利亚公国。黑亨利之子骄傲的亨利（1139年卒）娶神圣罗马帝国皇帝洛泰尔二世之女为妻，并在洛泰尔二世死后继承了萨克森公国。骄傲的亨利以前任皇帝之女婿的身份竞选神圣罗马帝国皇位，但是对他的强大疑虑重重的诸侯们选择了霍亨斯陶芬家族的康拉德三世为皇帝（1138年）。此后两家结下深仇。