天启四年（1624），曾绍芳辞官回到家乡。在县西南文笔峰下建有“文峰书院”，培育人才，入学者众。六年（1626），应知县陈鸣郊之请，主修《永兴县志》，刊刻行世。还著有《燕游草》、《蜀道呤》、《林下四箴》和《茹荼集》等书。当时，州役肆害于五邑，刺史贪污受贿，民声鼎沸，曾绍芳据情告于道院，后按律以治，有的被杖死于庭下，有的被枭首示众，人们称快。郴属正响要经洞庭直解湖北会城，县人旅途劳累，苦不堪言。一次巡抚来县视察，曾绍芳条陈其弊，后改交郴州，所派劳役也以资相抵，县人得以休养生息，感戴不已。县内学宫废圮，交通不便，曾绍芳捐资创修，行人有口皆碑。他还捐资置义田，以济贫困之士。县民在城内学宫左侧和对河鲍家码头真武庙左为他建生祠两座，曾氏后裔还把他的画像悬挂在私塾里，要蒙童从小就要像曾绍芳那样造福桑梓。明崇祯十六年（1642），岑东参议衡阳人谭汝伟听了曾绍芳的业绩、感慨万千地写了《曾兰若先生祠记》，追述他“以抗节著名于苕溪，以谋善扬声于北平，以高风显绩于蜀川。”曾绍芳死后葬于县东四十里处，中丞易应昌铭其墓。