汉景帝做太子时，曾召请皇上左右近臣宴饮，卫绾装病不去。汉文帝临逝前嘱咐汉景帝说：“卫绾是个忠厚长者，好生对待他。”到汉景帝即位，过了一年多，对卫绾不闻不问，卫绾则办事日益谨慎认真。

汉景帝前往上林苑，命中郎将卫绾作为护卫共乘一车。回宫后汉景帝问：“你晓得为什么能和我同乘一车吗？”卫绾说：“我是代郡的戏车之人，侥幸因功升为中郎将。我不知道为什么。”皇帝质问他：“我做皇太子召请你，为什么不肯来？”卫绾回答：“真是死罪，我病了。”皇帝赐他剑，卫绾说：“先帝已赐给我六柄剑了，臣不敢再接受赏赐。”皇帝说：“剑是容易被人拿去交换的，难道还独有你把那些剑保存至今么？”卫绾说：“都保留着。”皇上让取来六柄剑看，剑都在鞘中，不曾取用过。