孔霸少有奇才，从夏侯胜治《尚书》，颇有成就。

汉昭帝时，征为博士。

汉宣帝时，以太中大夫授皇太子司经，迁詹事，后为高密王相。

汉元帝即位，赐爵关内侯，号褒成君。食邑八百户。

加赐黄金200斤，住宅一区，孔霸徙居长安。

孔霸为人谦让，尝称禄位太过，无德受禄。

帝欲置于相位（自御史大夫贡禹卒及薛广德免，辄欲拜霸），霸再三辞让而罢。谥号“烈君”。

儿子：孔光（前64年-公元5年）：字子夏，自幼随父孔霸徙居长安，通经学，年未二十即举为议郎。后举方正，入朝任谏大夫。汉成帝即位，举为博士，迁大将军，拜相，封博山侯。汉哀帝刘欣即位，封为千户。汉平帝即位，拜太傅、拜太师，称病辞职。卒谥简烈侯。