他的书画造诣非常高，宋徽宗时官居书画学博士。他一生博雅好石，精于鉴赏。他生性诙谐古怪，好洁成癖，有人赠诗予他：“衣冠唐制度，人物晋风流。”

米芾对石的“痴”和“癫”，还表现在他去涟水为官这件事上。他听说安徽的灵壁县产奇石，便请求到地接灵壁的涟水县为官。因为他的心思在石头上，因此到了涟水县之后，对职守自然就很少过问。为此，招致上司对他公务勘查，这就发生了一件宋代玩石赏石上非常耐人寻味的事。《宋稗类抄》一书中叙述的一则故事更是有趣。故事中说：米芾为了得灵壁石，便请求到涟水作官司。到涟水后，他一心收藏奇石，并给每一块奇石赋诗一首。他玩石玩得神魂颠倒，整日呆在画室里不出来，有时一连几日不理公务。当时上司杨次公为察史（当时的官职），他平就听说米芾玩石入迷，经常不理公务，便来规劝。他到了米芾府内，正色对米芾说：“你身为朝廷命官，把你从千里之外派来，是要你勤于公务，你怎么能整日玩赏石头？”米芾走上前去从左边的衣袖里取出一块石头嵌空玲珑，峰峦洞壑皆具，色极青润，并对杨次公说：“这样的石头怎么能叫人不爱！”说着，他把这块石头又揣在衣袖中，接着又从衣袖中取出另一块石头，这块石头叠嶂层峦，更为奇巧，紧接又取出第三块。并不无自豪地再对杨次公说：“这样的石头怎么能叫人不爱！”哪知，杨次公突然改变了态度，高兴地说“这样的奇石并不是你一个人爱，我们也很爱。”说着，便从米芾的衣袖中取出三块石头，抱在怀中上车便走了。