康熙九年庚戌科状元蔡启僔是蔡升元的叔叔，蔡启僔和蔡升元的先祖世居洛阳，不少在朝为官，宋朝，先祖为秘书郎，后来从圣驾南渡，开始以德清为家乡。康熙二十一年，蔡升元中状元，授翰林院修撰。后历任中允、少詹事、詹事等职。康熙二十四年，蔡升元任会试同考官，日讲起居注官。由于与皇帝接近，颇受康熙帝宠信。康熙二十八年，迁中允。康熙二十九年，蔡升元迁左中允。不久，以终养二老而归乡里。康熙四十二年，康熙帝南巡，蔡升元在嘉兴迎驾，奉旨登舟奏对。深得康熙帝喜爱，次日下旨，以蔡升元讲筵甚久、家计甚贫而赐银葬亲，诏令事竣来京。

康熙四十三年，蔡升元被提拔为内阁学士。正月，以候补詹事府中允超擢少詹事，仍充日讲起居注官，入值南书房。五月，蔡升元迁詹事充经筵讲官。康熙四十八年，皇太子允礽厌恶蔡升元。此外，蔡升元在朝廷中声誉不佳。他曾为巴结权贵竟将女儿进献，为朝野人士所不齿。虽在太子立、废的动荡中未受影响，但已被同僚摈弃。康熙四十八年，因许多官员说他“轻浮无实”而被令退休。康熙五十一年，因为前皇太子厌恶蔡升元，蔡升元被革任，皇帝又下令为补内阁学士。康熙五十二年，蔡升元出任会试副主考官。再任内阁学士。此期间复出，钦命巡陕西、祭黄陵、赏绿旗营。康熙五十四年，又起用蔡升元，出任会试副考官。康熙五十五年，因不随大学士等去祈雨，蔡升元被降级留任。康熙五十六年，蔡升元升为左都御史。康熙五十八年，蔡升元又擢升礼部尚书。蔡升元曾多次上疏，提出政事改革的建议，如：简化繁琐批案程序，惩治批审中的渎职，制止肆意拘捕百姓、索贿敲诈生事等。均为朝廷允准。