或劝之著述，他说：《六经》、《语》、《孟》，先儒所言已经很完备了，吾何必为他们做注脚呢？居闲感愤，或形之咏歌，以洩其悲思慷慨之志。读书有得，往往笔之壁牖间。元至正三年，诏徵天下遗逸，廉访使檄赞之行，竭力推辞。尝叹曰：泉石膏肓，非其时，莫可疗也。乙未岁卒，年八十有六。时明太祖渡江，已取太平路。兵火後，卷帙散亡。嘉靖间，七世孙潘日升搜葺其遗稿及读书录，并刻之。其著作《待清轩遗稿》及《读书录》各一卷，收入《四库全书总目》。

厉鹗《宋诗纪事》收录潘音诗5首，分别为《有所思》、《山中寄友人》、《悼杨侍郎》、《山居阻雨》、《闻鹃》。其中《闻鹃》有云：“子规声切月轮斜，起望诸陵忆汉家。妇女寻芳浑不解，鬓云争插杜鹃花”。汉家云云，当是借指宋朝而已，杜鹃鸟是望帝春心托杜鹃，是故国遗民触目皆是愁思之物，而寻芳踏春之妇女浑然不解，纷纷往头上争插杜鹃花，在潘音眼中实在情何以堪。全诗寄沉痛于悠闲中，堪称别有怀抱。同时，潘音有《读岳武穆（即岳飞）传》诗，其云：“万里浮云入望阴，千山落日正沉沉。当朝自馁中兴志，出塞徒劳上将心。臣子终天仇未报，奸邪设险计殊深。惟余一筐精忠传，挥泪频看不自禁。”首联以写景烘托岳飞所处时代的政治背景，浮云万里，阴霾满天，千山落日，时近黄昏，大宋江山，正笼罩在阴霾中，置身于西沉落日里。起笔雄健，意境苍茫而雄浑，既可视为写实，也可称具有寓意。接着转入当朝最高统治者皇帝与担负保国安邦重任大臣之间在时局认识上的差距，统治者虽有中兴之志，但落实在行动上，却是一片自馁之气，使中兴口号化解于无形；岳飞之精忠报国，当出诸赤诚之心，但因为当朝最高统治者的自馁，一片丹心，终成徒劳。最后的结局，自然可想而知矣。臣子终天仇未报，奸邪设险计殊深。国恨家仇，欲以“驾长车踏破贺兰山阙”雪之，但终于为朝中奸佞秦桧辈设计陷害，以莫须有罪名置于死地，铸成千古奇冤。大宋江山，自此烟消云散，惟余一筐精忠传，让后人挥泪频看不自禁。