圣心大教堂于清同治二年(1863)奠基，教堂在施工时碰到了难以克服的困难，后来聘请了一位有施工经验的广东揭西人蔡教为总管工，教堂才顺利完成。石料采自九龙，石工多来自五华，加工分件，用船运到广州打磨、装配、砌筑，灰浆用中国传统的桐油糯米石灰浆。

教堂全部使用花岗石建成，而广州并不出产花岗石，教堂用尽了当时从香港九龙的牛头角及茶果岭开采出来的大麻石，这些石用帆船运至广州，再用人工打凿，吊装，粘合。最初由两位法国工程师指挥，由于与本地工人语言不通，加上中国人从来没有建造哥德式教堂的经验，工程开展数年，仅垒起几尺高的石块，后来得一位到工地探望同乡的广东揭西县坪上镇尖田村南门(一说为揭西县河婆镇)建筑工人(石匠)蔡孝留下担任总管工，前后历时25年，终在1888年完成。单单是开采用石，就已用了8年。