宋宁宗皇后杨桂枝之兄杨次山，仪状瑰伟，能文能武，初为宫中武德郎，杨后认亲后从吉州刺史升福州观察使，复任岳阳节度使。杨后册立，加太尉。韩诛，加开府仪同三司，进少保、封永阳郡王。南郊加封少傅，万寿观察使。致仕，加太保，授安抚军，昭庆军节度使，改封会稽郡王。杨次山虽贵显能避权势，不干预国政，时论称贤臣。嘉定十二年卒，八十一岁，赠太师、冀王。

杨家祖籍开封，曾祖杨全，以材奋武，靖康末为捍卫京城为国殉难。祖杨渐以遗泽补官，仕官在越之东南。遂置家于上虞。杨忠、杨次山以皇亲国戚赐宅萧山渔浦。后齐王杨忠逝世葬于渔浦（今萧山义桥）岐山东，冀王杨次山逝世葬于岐山西，故而岐山改称为“杨岐山”，当地百姓俗称“王坟坞”就是今天东方文化园内杨岐山南侧，万佛金塔后面处即是。杨家的王府当时是宁宗皇帝亲赐并御笔“崇福侯府”四字，是何等显赫荣耀，名振江南。后来由于杨家后代搬迁西兴，把侯王府改为“崇福杨寺”。至明代改为“杨岐禅寺”，可惜到清代咸丰年间被太平军纵火焚烧成一片焦土。后来虽有重建杨岐寺但规模远不及宋代寺院。