潘辉益原名潘公惠，出生在乂安镇德光府天禄县（今属河静省禄河县），其父是进士潘辉堇。1777年，中乂安镇乡试解元，被派往山南镇担任官职。他成为吴时仕的学生，并娶其女为妻。1775年，与吴时任同中进士。1777年，被郑主任命为使者，册封阮文岳为恭郡公。

1788年，阮惠北伐，灭后黎朝。潘辉益与吴时任等文官同受重用，辅佐吴文楚守北河。翌年阮惠击退清朝的进攻，潘辉益随范公治出使清朝议和。阮惠登基后，成为礼部尚书。

1802年，阮福映推翻西山朝，潘辉益向阮福映投降，被押至河内文庙前鞭挞，然后释放。此后归隐乡里，研究诗文，将段氏点的诗《征妇吟》译为字喃。1822年逝世。