弘治九年（1496）进士，授辉县知县。发粟赈灾，上奏减免虚税，复业者千家。擢御史。起初，孙伯坚、金琦、王宁皆以传奉得官，明孝宗又以指挥胡震为都指挥，分守通州。刘玉上书直言：“传奉不已，继之内批，累圣德，请求全部罢免。”没有采纳。

明武宗即位，刚过四个月，灾异迭见，刘玉上书修省六事。出按京畿，中官吴忠奉命选后妃，肆意贪婪暴虐。刘玉上奏。明武宗不问。刘健、谢迁罢官，刘玉上疏进言：“刘瑾等佞幸小臣，巧戏弄，投陛下一笑。顾谗邪而弃辅臣，此乱危所自起。况今白虹贯日，彗星见紫微宫，星摇天王之位。民穷财殚，所在空虚，陛下不改图，天下将殆。乞置刘瑾等于理，仍留刘健、谢迁辅政。”没有批复。刘玉于是称病归乡。后刘瑾将刘玉列入奸党榜，并诬陷他。三次受罚输粟塞下，最后打入诏狱四个月，削籍放归。