公元1276年（德祐二年）5月节的外甥赵昰即帝位（称为端宗）于福州。11月，元兵攻陷福州。在临安到福州的逃亡途中，由杨淑妃作主，将杨亮节之女配嫁给江万载第四子——妻儿已在饶州之役中随伯父江万里投止水殉国的江钰为妻，但江钰在婺州（今浙江金华）战役中战死殉国，其女也自尽殉节。亮节随驾至泉州，因泉州市舶司——阿拉伯裔（“蕃客回回”）人蒲寿庚（1205-1290年）拥兵作乱，杨亮节父子四人因避叛乱军走散，及归，宋少帝一行已至潮州。遂携三个儿子世昌、世耀、世隆追到漳州。因第三子途劳染疾，寄养于漳浦佛潭农家。亮节与长子、次子来到厦门，想觅船前往广东崖山与少帝会合。此时传来崖山海战兵败、少帝投海的不幸消息，亮节悲愤不已。遂与两子渡海到浯州（今金门），隐居于官澳珠宝石下，誓诫子孙莫为元臣，郁郁而终。