后在伊利诺中央铁路公司任高职，开始了其铁路管理生涯。1898年组织财团收购了联合太平洋铁路公司。不久，他使联合太平洋铁路公司脱离破产边缘，进而蓬勃发展。他施展了一些不受人喜欢的商业手段取得一些其他的铁路公司，其中最有名的是南太平洋铁路公司。1901年他与詹姆斯·希尔争购北太平洋铁路公司的控制权失败，导致了华尔街空前严重的一次危机。1904年西奥多·罗斯福当政期间，他与约翰·皮尔庞特·摩根合组的铁路信托公司被最高法院宣判解散。他的儿子威廉·埃夫里尔·哈里曼是二战时期的著名外交官。