始建于五代后周，奉祀晋代道士王冶。王冶，泰州人，隐居天目山，人称王仙翁。仙翁祠建成不久毁于兵燹。北宋太祖建隆年间（九六零至九六三）重建，改名吕祖祠，奉祀道教北五祖之一、唐末道士吕洞宾，兼祀王冶。南宋高宗建炎三年（一一二九）为金兵所毁。元泰定年间（一三二四至一三二八）又建，改名斗姥宫，前殿祀吕祖，正殿祀玉皇，后殿奉祀斗姥。因此观曾为徐守信修真处，又附祀徐神翁画像。清宣宗道光二十七年（一八四七）整修旧宇，增建文昌殿、斗主寝殿外，又修复玉丽泉古井，并在观东拓池叠石，广种花木，二十九年（一八四九）竣工。清咸丰、同治年间（一八五一至一八七四），两淮盐运使乔松年驻节泰州时再次修葺。民国以来逐渐荒芜。一九五八年拆去部分殿宇，现存房屋四十多间，为居民住宅。