耒字次耕，又字稼堂，江苏吴县人。幼孤，曾受业于顾炎武，康熙十八年以布衣诏试博学鸿词，授翰林院检讨，与修《明史》。后降调归里。潘氏博通经史，尤精声韵之学。性好山水，故集中多记游之作，清逸隽永，颇多佳晶。集中论说之文亦颇有价值，如卷三有《声音元本论》。《南北音论》、 《古今音论》，《反切音论》等， 皆独抒己见， 为不刊之作。又卷五有《修明史议》一篇，沦修史之利病，至为明晰。