画卷描绘了北宋元祜初年西域边地进献给皇帝的五匹矫健的名马，前四匹为“凤头骢”、“好头赤”、“锦膊骢”、“照夜白”，第五匹是“满川花”。每匹马前面均有一耷马人。此画中的马及牵马人，均是画家根据真实对象写生创作的。前三位控马者为西域少数民族的形象和装束，姿态各异，无一雷同，其精神气质亦微有差异，有饱经风霜、谨小慎微者；有年轻气盛、执缰阔步者；有身穿宫服、气度骄横者。五匹毛色状貌各不相同的马。或静止，或缓步徐行，比例准确，神完气足。画家用纯熟的白描技法，把盛行于唐代吴道子时代的“白画”发展为具有丰富表现力的画种——白描，这幅画就是确立这一画种的标志。

画家在白描的基础上微施淡墨渲染，辅佐了线描的表现力，使艺术效果更为完善，体现了文人画注重简约、儒雅和淡泊的审美观。自此之后，几乎所有的白描人马画无不源出于李公麟的白描艺术。

五匹马体格健壮，虽毛色不一，姿态各异，但显得驯养有素，极其温顺。五个奚官则因身份不同，或骄横，或气盛，或谨慎，或老成，举手投足，无不恰如其分。李公麟虽由吴道子入门，但其线描功夫，称得上是“青出于蓝而胜于蓝”。李公麟以其“行云流水”般的线条，飘逸而行止如意，虽只是白描勾画，却非常具有质感。观看马的轮廓，似乎能感觉得到其骨骼肌肉，略加烘染后，又似乎能感觉到其皮毛、斑纹。人物的面部刻画很简单，但结构异常准确，状貌极其生动，须眉之间，不但可视其年龄、身份、民族，甚至从表情可以窥其内心。

元代赵孟頫：“五马何翩翩，潇洒秋风前君王不好武，刍粟饱丰年。朝人间阖门，暮秣十二闲。”

《五马图》对后世影响甚大，成为后世画鞍马人物的最佳范本，后人推其为“宋画第一”。

该画南宋内府收藏，入元、明，经柯九思、张霆发诸家递藏，康熙年间藏河南商丘宋荦家。乾隆时入清宫，是流传有序的传世名迹。

这幅画在清宫珍藏200多年，末代皇帝溥仪退位后，以赏赐溥杰的名义盗运出宫。据张伯驹《春游琐谈》记载，溥仪在天津日本租界张园居住时，日本人以两万日金得到宋粱楷卷。这件事由陈宝琛经手。事成之后，日本某侯爵又想以日金四万得李公麟的《五马图》卷，献给日本天皇。于是，溥仪以40件书画售日金40万，而《五马图》则不索价，献给日本天皇。此事又是陈宝琛经手，先以溥仪的名义将40件书画赏给了陈宝琛的外甥刘可超。刘用其中的四件向天津盐业银行抵押4万元，其中有《秋山平远图》、《五马图》、《摹怀素书》和《姚山秋霁图》。押款两个月后，刘归还1万元，取走了《五马图》。自此以后，《五马图》藏于何处、藏于谁手一直云遮雾罩。

书画鉴定大师杨仁恺在《国宝沉浮录》中考证，《五马图》真迹一直在日本私人手中秘密收藏，日本学者岛田修二郎在第二次世界大战前还见过真迹，当时为日本京都大学某法学教授收藏，战后却宣称已被炸毁，此后几十年间人们再也见不到《五马图》。根据日本人的推测，某教授为法律界的名人，深通法理，既然他宣布原作已毁，就表明这幅画还存在于世。

2018年12月16日开始，日本东京国立博物馆举办“颜真卿：超越王羲之的名笔”特展，《五马图》在其中展出。

李公麟（1049年—1106年），北宋画家，字伯时，号龙眠居士，舒州（今安徽舒城县）人。好古博学，长于诗，精鉴别古器物。尤以画著名，凡人物、鞍马、山水、花鸟，无所不精，时推为宋画中第一人。尤擅画马，人物、道释深得吴道子旨趣，运笔如行云流水，人物造型准确，神态飞动；山水气韵清秀，得王维正传；着色山水追李思训心法。能集诸家之长，得其大成，师法自然，大胆创新，自成一家，被后代敬为第一大手笔、百代宗师。