季应召出身于清代一个赫赫有名的大家族，季家原先在泰兴县季家市（今靖江市季市镇），后来迁到泰兴县城。清代康熙时期，当时全国的富豪有“北亢南季”之称，邓之诚的《骨董琐记全编》卷三中说：“乾嘉间海内富室，推宛平祝氏、査氏、盛氏，怀柔郝氏。康熙时平阳亢氏，泰兴季氏，皆富可敌国，享用奢靡，埒于王侯。祝米商也，郝起农田，余皆业鹾典。”“北亢”是指山西平阳府的亢氏，人称“亢百万”。南季指的就是泰兴季氏。这个家族从明代季三卿开始，历经数代，在康熙时因为经营盐业积累下巨额的财富。与此同时，季氏家族还出了许多进士，尤其是季应召的父亲季振宜，十八岁就中了进士，为清代著名的大藏书家，所藏之书富甲天下。

季应召就生长在这样一个环境中，虽然没有取得多大的功名，只是一个岁贡生，就是从州学中被选送到国子监读书取得的功名，但是练就了一手画猫的绝技。因为他的家中藏有名画无数，从他的祖父季寓庸开始，家中不但藏书，还收藏字画，比如东晋王羲之的摹本《神龙兰亭》和元朝黄公望的《富春山居图》就都曾经被他收藏。每天耳濡目染，让他成为一个擅长画猫的大家。