杨家军奋力抗敌，杨延平提弓拉弦，一箭射死天庆王。惹恼了辽兵，被乱枪挑死。二郎因为救兄心切，被辽兵砍去马脚，自己掀翻战场，被千军的乱马蹂踏至死。三郎逃跑到芦苇不到一里时，被芦苇草内的长钩套索，把延安的马绊倒，延安倾倒离开马鞍，此时被辽兵杀害。

四郎冲出重围，半路又遇到辽将韩延寿、耶律奇率精兵四下围绕，部下全部阵亡，四郎只身被捕。而五郎延德只剩单枪匹马，后面喊声不绝，辽兵乘虚赶来，延德想到当日到五台山拜佛时，智聪禅师曾留给自己一个小盒子，吩咐自己遇难则开，于是从怀中掏出盒子，只见里面装着剃刀一把，度牒半纸。延德会其意，卸下战甲、头盔，挂于树上，用剃刀剃光头发，轻身走往五台山去了。

五郎上了五台山后，智聪禅师和他大谈佛经，并说杨家虽有功于社稷，但在战场上杀戮太重，以至遭受灭顶之灾。劝五郎全心修佛，减轻罪孽。于是五郎从此出家，潜心修佛，杨业被辽兵围困，撞死在李陵碑下，番兵将令公的尸体焚烧，把骨殖吊在幽州昊天寺塔尖上，杨业阴魂不散，托梦给六郎杨延昭以夺回骨殖。后六郎用激将法激恼孟良去盗骨。于归途中被追兵冲散，六郎逃到五台山，巧遇在此出家的杨五郎，兄弟难中相遇，悲痛万分。六郎将盗取父亲骨殖之事细诉一遍，五郎愤极，此时，追兵已到，二人合力击退了辽兵。六郎归去，五郎仍留五台山为僧。

辽邦进犯，摆下了天门阵，元帅杨六郎请杨五郎下山相助，杨五郎说欲破此阵，必须用降龙斧，而降龙斧柄则需要穆柯寨的降龙木，至此引出杨宗保和穆桂英故事（详情可参见穆桂英条），得到降龙木后，杨五郎下山以五行八卦棍相助，大破天门阵。

狄难抚是狄青之孙，其父狄蛟（有的版本作狄昭）为杨金花所误杀，狄难抚母亲则是狄家丫鬟，因与狄蛟有染而被主母八宝公主赶出狄府。雪天中在五台山生下狄难抚后去世。狄难抚被杨五郎收养。授武艺赠枪、马，命他下山保宋，大智王设圈套骗狄难抚挂西夏帅印与杨家为敌，后其师杨五郎和其祖狄青合作才解开这段狄杨两家恩怨。

杨五郎曾冒死救过宋太宗、宋真宗两代皇帝，几代宋皇的犒赏都被五郎以出家人的身份回绝，最后宋仁宗时杨五郎圆寂，宋仁宗塑了一尊镏金铜像以示再造金身，才了却宋皇室心愿。

虽然史书对杨五郎的事迹介绍很少，但是，杨五郎对杨家的贡献是最大的。杨五郎是一位最神秘的人物，也是最具有争议的人物，有人说：他怕死当和尚。这是没有根据的，在幽州为救宋太宗他冒着雨点般的疾箭，拼死把宋太宗救了出来，并一气背了二十里。这难道是怕死吗？宋真宗生性爱游玩打猎，到雁门关外打猎时被萧太后包围，差点丢掉性命，是杨五郎带几百僧兵拼死相救，才得以使真宗保住性命返回汴梁。宋真宗为此感激不尽，几次犒赏都被五郎以出家人的身份回绝，宋真宗为答谢救命之恩颇费了一番心事。无奈，在杨五郎归天后，塑了一尊镏金铜像以示再造金身，才了结了心愿。

正是因为杨五郎在史书的记载很少，才使得五郎的传说越传越神，家谱里也说五郎“削发为僧成仙”。杨五郎的确在出家后很少活动，因为，他肩负着保护杨家后代的重任。在山东的云梯关守将杨茂就是杨五郎的后代。当地的地方志就有记载。