时京都皇宫五凤楼额因年久字迹剥落，模糊不清，正德皇帝下诏补写。其阁系元朝书法家赵松雪所书，京城名家云集，书法却无有逾赵者，皇帝郁郁不乐。有人推荐柴希高，他挥毫补写，呈请帝阅，龙颜大悦，遂将“五凤楼”3字补起，一时名扬全国，授江苏省常州府通判。任职期间，举贤才，施惠政，为民请命，深得百姓爱戴。但希高深感官场人事舛驰、倾轧之积弊。

嘉靖中（1522～1566）告乞回家葬亲，在墓侧结庐以居。返里后，定居葭州山城，不愿为官，日与旧友张彭山、曹真乡、马应灵登山临水，诗酒往还，结为文社，时人称为“葭州四皓”。希高轻财好义，将为官时积存之金银财物，慷慨分给贫困人家。嘉靖年间，陕北连年兵祸，青壮年大都外逃，官吏横行乡里，民不聊生，怨声载道。官府积弊额丁，将逃亡之人补以原额。希高耳闻目睹，深感怜悯，草拟《与郝郡守书》，洋洋千余言，陈述民间疾苦。葭州知州郝桓得书后，回访希高，畅谈后许为代请，但因流弊甚多，积重难返。从此他绝口不言时事，每与朋友往来，介乎山水之间。葭州城定居时，常为新建庙宇书写匾额。留于后世的有关王庙“忠勇冠世”、财神庙“福水善火”、观音阁“观音阁”等。自题其墓表曰：“明柴牛山之墓”。终年79岁。他的后代居住柴家老庄，后来有的迁居柴家畔、柴家岔、乌镇等地。