舒岳祥幼年聪慧，幼时能作古文，语出惊人。年二十六岁时，以文章谒见荆溪吴子良，子良称其异禀灵识，比之汉贾谊、终军。1256年中进士，授奉化尉。右丞相叶梦鼎曾以文字官荐岳祥入朝，以母丧离去。丧服满，适友人陈蒙总饷金陵，聘岳祥入总幕，与商军国之政，暇则谈文讲道，游览名胜，不烦以案牍之事。后陈蒙以移用军饷被去职，舒岳祥亦离去。军中将领争相挽留，岳祥说：“主我者以罪去，而吾固利独留邪？”辞不就。

咸淳九年（1273），友人谢堂欲荐岳祥入京师订正《通鉴》各家注释，事将成，奏入经筵备作讲读之士。后风景尹曾渊子又荐岳祥为户部酒务，此乃晋列朝士阶梯之职。贾似道时当国，亦闻岳祥之才，但以岳祥尚气简直，不肯对人作软媚之言，不拟即刻任用，欲以盘折抑挫之法驯服岳祥，然后为己所用。岳祥获悉，毅然离京回乡。宋亡后，舒岳祥隐匿乡里执教，为赤城书堂长。与奉化戴表元、鄞县袁桷等交往甚密。晚年潜心于诗文创作，虽战乱频繁，颠沛流离，仍奋笔不辍。诗文与王应麟齐名。