据《史记》记载，秦汉之交，项羽拥立的楚怀王被项羽虚尊为“义帝”，义帝在迁居郴州后不久即被项羽杀害了。刘邦建立西汉王朝后，派安国侯王陵、洚侯周勃和舞阳侯樊哙前往郴州凭吊义帝。三侯途经西河时，因见此地景色美丽泊舟于此。为了纪念三侯凭吊义帝之举，当地人便建了这座“三侯祠”。 祠庙由正殿、东西配殿、厢房和祠门组成，门前立有两蹲石狮，威风凛凛，庙宇建筑气势恢弘，青砖碧瓦，十分壮观。正殿陈列着神态各异、造型精致的雕像八尊。三吼皆头戴盔甲，身着莽袍，端坐在神龛里，大殿两侧两条巨龙腾空欲飞，庙宇正对面建有戏台，每逢庙会，十里八方的人们云集于此，热闹非凡。其香火祭祀，至今不衰。