父亲史师木在史渐年幼时就去世了，史渐于是由母王氏抚养成人。四十岁时才入太学。史渐有儿子七人，其中有五人进士及第。由于子孙多为官宦，特别是孙子史嵩之为权相，祖以孙贵，被累封为太师和齐国公。

逝世后，葬于东钱湖上水下庄黄梅山南坡辨利寺后山（今下庄），太常博士哲学家叶适为其撰写了墓志。