有一天，汉武帝刘彻乘车来到郎署这个地方，看到颜驷满头白发、眉毛也很长，就问道：“你什么时候做郎这个官职（郎：汉朝官职，随侍皇上左右），为什么这么老了？”颜驷回答道：“臣下在文帝刘恒的时候担任郎这个官职了，文帝喜欢文臣，而臣下好武；汉景帝喜欢俊秀的臣下，而臣下貌丑；而如今陛下即位了，欣赏年少有为的人，而臣下已经老了，所以三朝都没能赶上遇合。”武帝听了十分感慨，以会稽郡都尉之职赐之。