潘岳姿容美丽，辞藻艳丽，尤其善于制作哀悼诔祭的铭文。年少时常常挟着弹弓出洛阳道，妇女遇到他，都手拉手围成圆圈环绕，把果子投给他，于是满载而归。当时张载很丑，每次行走在路上，小儿便用石块瓦片扔向他，张载十分颓丧地返回。