羊舌氏出自姬姓，是春秋时晋侯的后代。周武王灭商后，为了控制被其征服的广阔区域，大力推行“封邦建国，屏藩王室”的分封制度，先后分封七十余国，其中周武王庶子叔虞被封于唐（今山西大部分地区），为晋国。历十四世传至晋武公，武公庶子名伯侨，伯侨有孙子名突，晋献公时被封在羊舌邑，称羊舌大夫。其子孙以邑为姓，称羊舌氏。

羊舌突之子名羊舌职，晋景公时期活跃于晋国政坛，公元前573年被晋悼公任命为中军尉。公元前570年去世，后来羊舌职的四个儿子（铜鞮伯华、叔向、叔鱼、叔虎）纷纷走上晋国政坛，羊舌氏成为晋国的一大名门。　

前570年，羊舌职去世，中军尉祁奚推荐其子伯华（羊舌赤）代替其位。