翁斌孙爱好藏书，藏书处名“笏斋”。他对祖父翁同书的藏书又有所增益，如以600元购宋本《古文关键》4册，以800元购明钞《古堂类范》32册等。《藏园群书经眼录》载翁斌孙藏《独醒杂志》10卷，《四当斋书目》载翁斌孙藏《焦山鼎铭考》，《苏州大学图书馆善本书目》载翁斌孙藏《晚唐诗纪》，有“翁斌孙印”藏书章。同时他还收藏字画碑帖，常熟市图书馆古籍部藏有翁斌孙著《笏斋所藏物》1册，著录内容为碑帖，在每种碑帖下都注明了“家传旧物”、“文勤公旧藏”、“父亲藏”、“叔祖赐”或购于某地等。翁斌孙抄书很多，有《穆天子传》《百夷传》《五国故事》等。留在常熟彩衣堂内的藏书，有翁斌孙从北京带回的，也有祖上遗留下来的。光绪二十二年（1896），翁同龢因主张变法，被开缺回籍后。第二年由翁斌孙出面，把北京的藏书全部运回常熟，存放在“彩衣堂”老宅内。翁同龢去世后，藏书中的精品包括翁同龢日记和自定年谱手稿悉归翁之廉珍藏，秘不示人。一九一六年与一九一七年间，翁斌孙回乡整理，并将大部精品转移到天津庋藏，余仍藏于常熟翁氏故居采衣堂中。斌孙称病不出闲居天津，以读书、鉴藏古籍、字画自娱。长于掌故，1922年在天津病逝后，藏书由其子翁之廉（1882～1919）继承。翁之熹之子翁开庆有文记载：“1950年夏，天津解放后不满半年，北京图书馆赵万里、高熙曾两先生来访，下榻我家，遴选家中所藏书籍，昼夜不息，历时半月有余。凡所选善本，父亲都悉数举以献国家。”留在常熟老家的藏书有部分散失，被私家收藏，剩余的七千册捐赠给南京图书馆。一千七百十二册，捐赠给常熟市图书馆。翁之润，斌孙长子，藏书室名“陔华词馆”、“灵蛮室”、“师曾室”翁之憙，斌孙幼子，得翁氏藏书最多，于一九五O年夏捐赠给了北京图书馆。收藏印“翁斌孙观”、“斌孙之印菏官世家”等等。