哈里曼家族的基业，全靠他们自己白手起家，与其他“骷髅会”中的精英家族不同，哈里曼家族事业的开创者爱德华·亨利· 哈里曼是一个典型的靠白手起家而成为大富翁的人物。33岁时，爱德华·哈里曼娶了一家濒临倒闭的纽约铁路公司总裁的女儿。他看准了尽管当地许多铁路公司都面临破产，但铁路行业是他大显身手的最理想舞台。

在他的努力下，伊里诺伊铁路公司非但挺过了经济危机，而且业务飞速扩张。他所铺设的铁路如蜘蛛网般遍布美国，其个人资产也飚升至6亿美元。

遭受打击向往“骷髅会”不料，1904年，美国总统罗斯福指挥老哈里曼的铁路大财团非法垄断，最高法院判定这个铁路大财团必须被“肢解”。倍受打击、资产严重缩水的老哈里曼意识到，“朝中无人难做事”，他在政界没有背景，生意势必会受到影响。为此，他非常希望他的五个孩子中间，能有人考进耶鲁大学，最好加入那个传说已久的“骷髅会”，从而使哈里曼家族得以永世富贵下去。