乐毅原为赵将，沙丘之乱后，出走魏国。后为魏出使于燕，燕昭王赏识乐毅才能，拜为亚卿，后为上将军。曾率五国联军伐齐，连下七十余城，遂封乐毅为昌国君。后燕昭王卒，子惠王立。乐毅因与惠王有隙，加之田单反间，乐毅乃弃燕而奔赵。赵惠文王封乐毅于观津（今河北邑县东），号望诸君。榭因封号而名。“望诸榭”就是后人为了纪念乐毅功绩而修建的。据地方志载，邯郸市东南30里的乐家堡，就是乐毅的故居。

望诸君祠系清雍正年间邯郸知县郑方坤所建，而很早以前湖中有个小土丘，丘上有乐毅庙。据郑在《望诸君祠记》中称：“旧无庙，赵人以为憾”，遂于“武灵废苑，植屋三楹”。

中华民国十一年（1922年），当时邯郸驻军军长孙禹行等及邑绅王琴堂重修丛台时，将“望诸君祠”改建为“望诸榭”。据《丛台集序碑》记载：“湖中有岛，因旧有望诸君祠，爱建望诸榭于其上”。