玫瑰堂于1901年兴建，最初为一座可容纳800人的教堂。当时北京发生义和团事件，英军从印度抽调一批印度籍士兵驻扎在九龙。玫瑰堂便是为了方便当中的天主教徒进行主日弥撒。该处原为嘉诺撒修院，后来因教堂不敷应用，修院于1903年让出土地予玫瑰堂重建。同年10月，玫瑰堂得到葡萄牙籍教友甘曼斯博士捐款协助重建。1904年12月4日，当时香港副代牧翟神父为教堂进行奠基祝圣，并于1905年5月8日进行落成祝圣。

玫瑰堂于1913年加建两侧及祭衣房，后来加建露德圣母岩及在教堂的塔顶加设铜钟，1950年加建中廊。玫瑰堂最近一次重修于1990年进行，做成现时的外貌，并曾于2003年翻新。