蔡徵，字希祥，侍中、中抚军将军景历的儿子。幼年聪敏，精于识字，记忆力强。六岁时，拜见梁朝吏部尚书河南褚翔，褚翔，字仲举，感叹蔡徵聪敏悟性高。七岁，母丧，服丧如成人礼。继母刘氏性格剽悍残忍，对他不讲道理，蔡徵供奉侍候更加谨慎，从来没有怨恨的神色。蔡徵本名蔡览，蔡景历以为他有王祥的品性，替他改名蔡徵，字希祥。

至德二年，改任廷尉卿，接着为吏部郎。改任太子中庶子、中书舍人，掌韶诰。不久授左民尚书，与仆射江总知撰五礼事。接着加宁速将军。后主器重他的才干，任用寄望日趋加重。改任吏部尚书、安右将军，每十天去束宫一次，在太子面前论述古今得失和当时的政务。又韶令廷尉寺狱，事无大小，都采纳蔡徵的议论决断。不久有诏派蔡徵收募兵士，自为编制，蔡征善于安抚体恤士兵，很得人心，十天一个月之间，士兵已近一万。蔡征地位威望既重，加以声势逼人，众人议论都妒忌惧怕他。不久转为中书令，将军照旧。中书令清简无事，有人说蔡征有怨言，此事传到后主耳中，后主大怒，收夺他的人马，将要杀他，有极力谏静者，使他获免。