吕潜于明崇祯十五年(1642)中举人，十六年(1643)中三甲第287名进士，官行人，授太常博士。崇祯十七年(1644)李自成攻陷北京，吕大器奔南京，以弹劾马士英去官，入广东。吕潜奉母寓于浙江省之苕溪（今湖州市），复流寓扬州。不久，吕潜闻父病逝都匀（今贵州都匀市），继遭母丧。身逢乱世，江流离迁，尝尽人世间琐尾之苦。因蜀道险远，逢滇黔之乱，实难归葬，往来湖州与扬州之间前后达40余年。清康熙二十四年(1685)方归蜀，扶父母灵柩归故里安葬，葬父于遂宁城北嘉禾桥。吕潜离蜀时，生女方五月，返里时，已46年，潜见其女，有“牵衣惊老大，掩涕述流离”之句。自此闲居家乡，从事稼圃，购小楼三楹，题曰“课耕楼”，徜徉山水，过着隐忍清贫的遗民生活，以诗书画娱老，时称“诗书画三绝”。卒葬遂宁枣子坪，享年八十有六。《国朝耆献类征》卷466、清嘉庆本《四川通志》、《遂宁县志》等有传。清康熙45年（1706）病逝，享年86岁。子其棅，曾任青海西宁知县，有贤名。吕潜与新都费密、达川唐甄合称“清初蜀中三杰”。吕潜性旷达，明亡甲申（1644）后不仕，常以诗画自遣。工书，能诗，擅山水、花卉。画作用笔放纵而具法度，神气清朗可赏，山水笔墨流畅，树石都以干、湿、深、浅相间，结合点、染、皴、擦，使画面浑然一体而又层次分明，富于情趣。布局起伏错落，疏密得宜，别具风格。传世作品有《层峦丛林图》轴，上题七绝一首，现均藏四川省博物馆；清顺治九年（1652）作《仿王叔明山水》扇面图录于《名人书画扇集》；康熙六年（1667）作《山水图》卷图录于《清朝书画谱》；《林下草堂图》轴图录于《中国绘画史图录》下册。