有关该寺的记载，最早见于9世纪中叶阿拉伯旅行家苏莱曼的《东游记》，记述了广州“蕃访”穆斯林的生活及建有寺院1所。南宋岳珂撰《桯史》记他在绍熙三年(1192)于广州所见有祀堂(即礼拜堂)和光塔。南宋方信孺在《南海百咏》中“咏蕃塔”诗后记曰：“蕃塔始于唐时，曰怀圣寺塔。”根据现存碑刻记载，该寺在元至正十年(1350)、明成化三年(1467)、清康熙三十四年(1695)及1935年皆经重修。现该寺由寺门、望月楼、水房、长廊、碑亭、客室、礼拜殿和光塔组成。礼拜殿为寺的主体建筑，置于庭院的正面，造形为中国宫殿式。为3间带周围廊、歇山重檐绿琉璃、带斗拱的砖砌水泥建筑，耸立在带雕石栏杆的大平台上，庄严肃穆。石栏杆栏板上雕刻各异，有葫芦、扇子、伞盖、花卉等图案。大殿内洁白明亮、铺有木地板，三面有拉门。大殿梁下题字为“唐贞观元年岁次丁亥鼎建，民国二十四年岁次乙亥三月二十一日辛未第三次重建”。在大殿左侧碑亭内有元至正十年(1350)八月郭嘉重建怀圣寺碑，保存尚好，但石质有所风化。还有清康熙及同治时重修寺的碑记。在大殿右侧，原有清真寺经堂小学2层楼房建筑，后另辟新校址，迁离古寺。寺院的西南角，建有高达36．6米的砖塔，呈圆筒形，塔中为石心柱，塔内有石阶梯道可供登临，塔顶有“邦克楼”。塔表圆形灰饰，望之如光洁之银笔，故称“光塔”。该寺对研究中国海外交通史、建筑史、伊斯兰教史以及中国同伊斯兰国家人民的经济文化交流有重要意义。现为全国重点文物保护单位。