开元十五年，为嗣虢王。天宝五载，出为西河太守。皇太子（李亨）杜良娣之妹婿柳绩陷诏狱。李巨母扶余氏，吉温嫡母之妹也，温为京兆士曹，推绩之党，以徐征等往来李巨家，资给之，由是坐贬义阳郡司马。

六载，御史中丞杨慎矜为李林甫、王鉷构陷得罪，其党史敬忠亦伏法。以巨与敬忠相识，坐解官，于南宾郡安置。又起为夷陵郡太守。及安禄山陷东京，唐玄宗方择将帅，张垍言巨善骑射，有谋略，玄宗追至京师。杨国忠素与巨相识，忌之，谓人曰：“如此小儿，岂得令见人主。”经月余日不得见。玄宗使中官召入奏事，玄宗大悦，遂令中官刘奉庭宣敕令宰相与李巨语，几亭午，方出。杨国忠颇怠，对刘奉庭谓巨曰：“比来人多口打贼，公不尔乎？”李巨曰：“不知若个军将能与相公手打贼乎？”寻授陈留谯郡太守、摄御史大夫、河南节度使。翌日，李巨称官衔奉谢，玄宗惊曰：“何得令摄？”即日诏兼御史大夫。李巨奏曰：“方今艰难，恐为贼所诈，如忽召臣，不知何以取信？”玄宗劈木契分授之，遂以臣兼统岭南节度使何履光、黔中节度使赵国珍、南阳节度使鲁炅，先领三节度事。有诏贬鲁炅为果毅，以颍川太守来瑱兼御史中丞代之。巨奏曰：“若炅能存孤城，其功足以补过，则何以处之？”玄宗曰：“卿随宜处置之。”巨至内乡，趣南阳，贼将毕思琛闻之，解围走。巨趣何履光、赵国珍同至南阳，宣敕贬炅，削其章服，令随军效力。至日晚，以恩命令炅复位。