其世家有藏书之习，先祖郑溱即有藏书，高祖郑梁、曾祖郑性，均为藏书大家。其“二老阁”藏书百余年，乾隆五十一年（1786）“二老阁”藏书楼遇火，嘉庆初，又遇兵燹，藏书散佚颇多。他意欲重振“二老阁”雄风，极力物色和搜罗“二老阁”流散之书，或购回，或借抄，历经10余年，方积书2 000余卷，又别建“二砚窝”以储之，蒋学镛为之作《二砚窝记》，朱彝尊又赠送其高祖郑梁的手抄诗稿，又得阮元、谢启昆等30余人为之题诗，又建“二老堂”于“二老阁”旁，以纪念郑梁、朱彝尊等先辈，阮元为之题写匾额，绘制《二老重逢图》，极一时之盛。刊刻图书颇多，刊印有黄宗羲未刊之书有《明夷待访录》、《思旧录》、《南雷文约》；刊印郑氏一门著述：郑梁《勉斋先生遗稿》、《寒村举业偶存》、《守高存言》、《勉斋家传》和其他人的几十种。郑氏藏书延续至民国初，后人郑公议将存书出售给上海书商，被沈氏“抱经楼”购得，1943年前后，历时200年的“二老阁”藏书楼被后裔拆除变卖。