李遵豪爽秀俊，有李佐的风范，北魏国子学建立后，李遵进入国子学学习，写文章通过考试，成绩优秀，被选拔为司空参军。高阳王元雍镇守邺城时挑选幕僚，第一个挑选的就是李遵，担任法曹参军。不久，父亲李佐去世，李遵为父服丧。守丧期满后，李遵承袭为泾阳县开国子，被任命为员外散骑侍郎。自李宝归顺北魏以来，陇西李氏三代都定居于平城。李佐因任官曾定居于相州，将户籍安置于魏郡汤阴县。李遵后被任命为相州别驾，回京任奉车都尉，外调为冀州长史，加官中垒将军，任命为冀州安东府司马，调任司空府司马。

正光五年五月八日（524年6月24日），李遵在洛阳显德里去世，虚岁五十二，皇帝下诏哀伤悲叹，追赠假节、龙骧将军、洛州刺史。正光六年五月乙巳朔廿二日丙寅（525年6月28日），安葬于西门豹祠之南，李佐之墓的左侧。孝庄帝初年，李遵以外戚的身份，超赠车骑大将军、仪同三司、定州刺史。