城址建在雅尔乃孜沟中间的土崖上，土崖高距现代水面约30米。沟水在土崖北端分流,在南端合流,故汉代称此地为“交河”。城址东西最宽处约 300米。在城的东侧和南端各保留一处伸延到崖下的路口，应是古城原来的出入通道。东侧通道路口两侧崖壁高约5米以上,两侧崖壁上凿有对称的安装门额的方孔，门外是循崖上下的坡道。崖上建筑群外侧没有城墙围绕，只在较低的西南崖边有一段断续的土墙。建筑群中央有一条南北长约350米、宽约10米的大街。大街北端是城里最高大的寺院，大街南端和东侧各有巷口通往城外。大街两侧是高而厚的土墙，没有向街的门户。由大街分支出的纵横小巷将建筑群分割为若干区，只在小巷两侧才有院落的门户。中央大街以西以北是寺院集中的区域。各个寺院的建筑大都左右对称，中央的殿堂里都有坛座或龛柱。中央大街以东的区域，院落既不方正，房间也很狭窄，各院落的建筑物更少对称的布局，推测可能是居民区。