阁始建于明洪武年间（公元1368--1398年）。《桃源县志.营建志.城池》载：阁“在县东，久废，雍正二年（公元1724年），县令于文灿复建。乾隆十九年（公元1754年）圮，知县屈宜申重建，后又圮。嘉庆五年（公元1800年），知县王述周复建，十七年（公元1812年），知县李英竣修。同治五年（公元1866年），知县余坚重修。”阁分三层，为六方形砖木结构建筑。外围用青砖砌墙，粉刷成赭红色，三层檐一般齐，滴水均下落至地。每层的各个檐角皆悬有小铜钟一个，墙内三层木阁楼，可沿扶梯而上。第一层南北相对开门，无窗；第二层在墙壁上凿有四个圆形窗口，内供奉一些小佛像；第三层内有“纯阳卧宫”塑像，吕洞宾左肩挎剑，右手撑头侧卧，若有所思，神态如生。漳江阁三面环街，三面临江，倒影映进碧波荡漾的沅水，巍巍的，颤颤的，倾注了一江柔情。登阁远眺，沅水两岸的山色水影尽收眼底，加上轻轻拂来的清风，明丽的艳阳，叫人十分快慰。