李安远，夏州朔方（今陕西）人。父亲叫李彻，隋朝上柱国、云州刺史。家中世代为将，因财产富足著称。

李安远年轻时不检点，与赌徒交游，以至于破产。后来洗心革面开始读书，依从士大夫，如果是超过自己的人，一定要倾心结交。继承封爵城阳公。与王珪最好，大业初年，王珪因王颇受牵连获罪，应流放，李安远袒护他最终免于流放。后来补授正平令。