僧舍建在大殿的周围，整个寺庙建筑布局主次分明，排列有序。寺庙建筑吸收了汉藏民族建筑艺术的优点，显得庄重富丽、气派雄伟。

据载，大金寺的前寺即达格弄山沟中的寺庙，年代久远，至少建于600年前。

此寺庙建筑面积14.8万平方米，坐北朝南，依山而建，错落有致，建筑融汉藏建筑特色于一体，以拉萨大昭寺为模型，原木加土构建而成，色彩为红、白相间，看上去像一座艺术宫殿，庄重、富丽、气势雄伟。现今的大殿一底三楼是八十年代以后建造的，为钢筋水泥结构，内有释迦牟尼、宗喀巴和阿底峡的巨型塑像。寺庙历史上僧侣最多的时候达三千人之多。朱德元帅曾与白利寺的格达活佛在此合影留念。

据载，为扩大格鲁派势力，霍尔·曲吉昂翁彭措受五世达赖之命，被派遣到康区霍尔地方修建霍尔十三座格鲁派寺庙。有一天，霍尔·曲吉昂翁彭措到绒坝岔的列西渡口，在河边洗脸时，把佛珠放到山包顶的一块石头上，此时，佛珠被一只乌衔在嘴里，飞到了一座山包上，并把佛珠放到山包顶的一块石头上。霍尔·曲吉昂翁彭措悟到，此鸟必是佛的化身，是佛的旨意，因此决定把当时建在达格弄山沟里的寺庙迁建到这个山包上。