蔡季襄天资聪颖，早年读过几年私塾。稍有旧学基础，写得一笔工细的蝇头小楷。他不吸烟、不饮酒、不赌牌。20世纪30年代初，他父亲病故，由他继承了丰厚的遗产，过着悠闲的生活。他一生只有两个爱好，一是寻花问柳，二是收藏出土文物。

1929年，军阀何键主政湖南，受蒋介石之命兼任“讨逆军”（讨伐桂系军阀）第四路军总指挥时，蔡季襄在朋友的邀惑下，到那个指挥部一度担任过文书。他以灵秀飘逸的小楷，得到上司的欣赏。然而，他不习惯于那种呆板的工作，不满一个月就辞职不干了。又在几个朋友的煽惑下，合伙办起了一家小报馆，报纸的内容，除了报道长沙市区的一些街谈巷议的新闻以外，主要是有针对性地吹捧湘剧女演员。他一天到晚西装革履，风度翩翩，出没于茶楼剧院中。此外还收购出土文物，其中几件是珍贵的文物考古发现。第一件事战国时的缯书，第二件是战国帛画。