清代嘉庆年间，光禄寺典簿李筠嘉购得上海县城西南的邢氏桃圃，“稍加修葺，养鱼种竹其中”，起名吾园。园内有带锄山馆、红雨楼、潇洒临溪屋、清气轩、绿波池等景物；绿波池上有鹤巢，频现仙鹤。

吾园曾引种露香园水蜜桃百株，所以清人褚华的《水蜜桃谱》提及：“今桃之最佳者，产黄泥墙、李氏吾园。” 桃花盛开时，这里游人不断。

据地方文献资料记载，吾园内还诞生了一个上海近代的书画社。李筠嘉是藏书家、书法家，他与文友李廷敬志趣相投，于嘉庆八年（1803年）在吾园共同创办吾园书画会，参加者有方楷、李学璜、改琦、林镐、洪亮吉、陈复堂、钱杜等，共一百数十人。据李筠嘉编的《春雪集》记载，这些书画家雅集时陆续为吾园留下的绘画、书法、诗词达二百五十余件。吾园书画会前后活跃了二十余载。