吴景帝孙休在位时期，楼玄担任监农御史。

永安七年（264年），吴末帝孙皓即位。孙皓即位后，楼玄与王蕃、郭逴、万彧共同担任散骑中常侍，出朝担任会稽太守，又入朝担任大司农。

过去皇宫中主事的人从来都是选用亲近的人担任，万彧陈说亲密接近皇帝的职位，应选用品行中正的人，孙皓就命令负责官员，寻找忠诚清正的人，以符合选用，于是就任用楼玄为宫下镇禁中候，负责殿中事物。楼玄以九卿身份持刀侍奉保卫孙皓，端正自己，作众人表率，奉守法律行事，应对恳切忠直，多次违背孙皓的心意，渐渐受到责怪恼怒。

后来有人诬告楼玄和贺邵相遇，停下来相互低声耳语又大笑，诽谤政事，于是楼玄遭到孙皓诏令责问追究，送交到广州。

东观令华覈上奏疏说：“臣私下认为治国的道理，就像是治家。负责田间劳作的人，都应是贤良诚实的。另外应当找到一个人总管各项事务，定出纲领，各种事物才能治理好。《论语》说：‘无所作为而使天下大治的人，大概只有舜吧。使自己恭谨端正面向南而坐罢了。’是说任用的人称职，所以自己就悠闲而安逸。如今海内没有安定，天下事情繁多，事情无论大小，都要过问，行动都要经过陛下，使陛下神圣的思虑受到损伤。陛下既留意博通古事，读遍经典文献，又思想勤勉喜好道义，顺应自然时节而处理政事，应能够安闲清静来放松精神，呼吸清醇的空气，和上天同寿。臣日夜思考，众位官吏中，能承担重要的事物，足以委用信任的人，没有人比得上楼玄。楼玄清正忠义，敬奉公事，是当代的楷模，众人都佩服他的操行，没有人同他争先。清正的人就心中公平而意念耿直，忠诚的人就遵循正道而行事，像楼玄这样的品性，是永远可以保证的，请求陛下赦免楼玄先前的罪过，让他能改过自新，提拔他主管朝廷各部门，责求他以后的表现，让他按照官职选择人才，根据才能授予职位，那么像舜那样恭谨端正自己而天下大治的情况，陛下也很快就能达到。”