生于德克萨斯弗洛雷斯维尔。1941年德克萨斯大学法学院毕业后，在海军服役，任海军部副部长的法律助理，第二次世界大战期间在欧洲和太平洋战场服役，曾跟随艾森豪威尔登陆北非，后来在南太平洋的埃塞克斯号航母上当战斗机飞行主任，参加过吉尔伯特、马绍尔、硫磺岛和菲律宾的战斗，获得过铜心勋章，1946年以少校退伍，回到华盛顿特区投身政界，作为参议员林登·约翰逊的助手，他在约翰逊1973年去世前一直是他的心腹。1961年任约翰·肯尼迪总统的海军部长，在地中海指使第六舰队对盟国意大利推行炮舰外交。1963-1969年连任三届德克萨斯州州长，1963年肯尼迪遇刺时，同车随行的他的左肩、手臂和大腿也受伤，他一直不相信沃伦委员会做出的凶手只有一个人的说法。越南战争期间，他是最强硬的硬派，要求约翰逊动用一切可以动用的手段，但约翰逊却已经没有信心打下去了。1969年任白宫政府组织委员会委员，1971-1972年任理查德·尼克松政府财政部长，他不愿意接受这个职位，因为他说老布什更适合这个位置，结果尼克松把老布什打发到驻联合国代表团去了。他在财长期间，最出名的就是美元贬值，以恢复美国的进出口平衡，增进500万美国人的就业机会。亨利·基辛格曾指出，尼克松在背后没有指责的内阁成员就是康纳利。1972-1977年两次担任对外情报顾问委员会委员。