原收人《四库全书》子部艺术类书画之属。但在《钦定》刊行的《四库全书》《纲目》裹却找不到这部书。原因是在《四库全书》编纂过程中，发现一些所谓“语有远碍”书籍，故被下旨严查、销毁，《书画记》和周亮工的《读书录》等十余种书因此被撤出销毁。由于上述缘故，该书只有少数钞本流行。

该书是其在各地看到的、收到的古书画作品以及与各界人士交往的随记。所记书画作品从明崇祯八年起至清康熙十六年止，按所见到的和得到的书画作品的时间为序。对作品的记述顺序依次为：作品质地、保存状况、艺术特色、款识、题跋、收藏的印记以及他人或自己的鉴定意见，最后记阅于某人、某地、某时。对收藏者和交易者亦加以简略介绍。每条记述的详略依作品的轻重而定。此外还记述了一些鲜为人知的鉴定家、古董商、书画装裱家的情况，补充了这方面文献记载的不足。该书所记载的晋、唐、宋、元古代书画作品，是我们今天在鉴别书画真伪、评骘优劣方面的宝贵资料，对古书画研究具有很大参考价值。