全书共有五卷。卷一为叙论，有六法、三品、三病、六要、六长、制作楷模、古今优劣、粉本、赏鉴、装褫书画定式、叙历代能画人名等篇，系将《图画见闻志》、《宋朝名画评》、《画鉴》等书有关章节汇辑而成。卷二简介三国吴至五代画家。卷三简介宋代画家。卷四简介南宋及金朝画家。卷五为元代及外国画家。各卷所辑小传，多取自《图画见闻志》、《宣和画谱》、《画鉴》等书，并略作增补。书末附《补遗》一卷，成于1366年，对以上各卷之遗漏作了续补。明韩昂又有《图绘宝鉴续编》一卷，补收明洪武元年至正德十四年（1368—1519年）间画家一百余人。以上共收三国至明代画家一千五百余人。至明清之际，坊问又增补上述二书，成《增补图绘宝鉴》八卷。

有些已佚的论著，如陈德辉《续画记》就赖此书而见其大概，至于一千五百余名画家小传，更为历代画史、画传所无毛此书由元代著名文学家杨维桢（1296—1370）作序，序中一仍郭若虚等人观点，云“故画品优劣，关于人品之高下”，并以传形、传神判画之高下。夏文彦沿朱景玄之论，置逸品于三品之外，并分别为三品定义：神品“气韵生动，出于天成，人莫窥其巧”，妙品“笔墨超绝，传染得宜，意趣有余”，能品“得其形似，而不失规矩”，较前人所说更为简明、准确。