赵王迁三年(公元前233年)，秦将军桓齮乘胜进击，率军东出上党，越太行山自北路深入赵国后方，攻占了赤丽、宜安(今河北藁城西南二十里)，进攻赵的后方，直向邯郸进军，形势危急。赵王迁从代雁门调回李牧，任命其为大将军，率所部南下，指挥全部赵军反击秦军。桓齮认为，过去廉颇以坚垒拒王龁，今天李牧亦用此计；秦军远出，不利持久。他率主力进攻肥下，企图诱使赵军往援，俟其脱离营垒后，将其击歼于运动之中。李牧洞悉敌情，不为所动。而赵将赵葱不明就里，建议救援肥下时，李牧说“敌攻而我救，是致于人”，乃“兵家所忌”。李牧用围魏救赵之策，攻秦必救之军营。在肥城之下交战时，又采取正面阻敌，两翼包抄的战术，全歼秦军。

赵王迁七年（前229年），秦使王翦攻赵,赵以李牧、司马尚抵抗。秦军不得进，就以重金贿赂赵王宠臣郭开，他在赵王面前散布李牧、司马尚想谋反。昏聩的赵王迁一听到这些谣言，不加调查证实，立即委派宗室赵葱和齐人投奔过来的颜聚去取代李牧和司马尚。