岳父：张淑皋，清朝举人

妻子：张碧兰，中学教师。

长子：蔡少甫，北京市劳动模范、北京工业大学教授

三子：蔡少龄，印刷传播高级工程师。

四子是中山大学化学系教授。

小女儿：蔡少萍

外孙女：黄莹莹，博士，曾任中山大学北加州校友会副会长。

蔡辉甫与张碧兰夫妇膝下有四子二女。蔡先生逝世时，子女中最大还不满16岁，还有一个遗腹女。子女中，除年纪最小的蔡少萍女士由于“文革”错过读书机会以外，其他人都分别毕业于北京大学、中山大学等国内名牌大学，也曾到过日本、美国、加拿大等地留学或访问。六个子女中四人继承父志，从事教育行业。