约翰·海出生于印第安纳州的塞勒姆一个乡村医生家庭。1851年，寄居伊利诺斯首府斯普林菲尔德的叔父家上中学。后入布朗大学，很快成为校内颇有名气的诗人。后业毕，1860年在竞选总统活动中积极支持林肯。1861年被林肯指派为助理秘书，踏入白宫。南北战争期间任林肯的副官和侍从武官，服役时晋升为中校。1865年任驻巴黎公使秘书，4年后分别在驻法、奥、西班牙使馆任同一职务，同时开始写作。1870年回国，任《纽约论坛报》主笔，连续发表诗歌、民谣等，成为名噪一时的文学家。1875年因与大资本家女儿结婚而跻身于资产阶级上层人物行列。1879—1881年，任第一助理国务卿。从1886年起，与尼古拉所撰写的10卷本《阿伯拉罕·林肯传》蜚声文坛。1894年编纂出版两卷本《林肯全集》。1897年任驻英大使。1898年8月任国务卿。任内于1898年12月与西班牙签订《巴黎和约》，继之提出侵略中国的“门户开放”政策。1902年后，为把“美洲人的美洲”变成“美国的美洲”，煞费苦心，并取得独自开凿巴拿马运河的特权。1904年11月，罗斯福再次当选总统，约翰·海留任国务卿，直至第二年7月1日病死。