祖楷，尚书都官郎。父绥，中书侍郎。玄保起家楚台太常博士，遭母忧，服阕，右将军何无忌、前将军诸葛长民俱板为参军，并不就。除临安令。刘穆之举为高祖镇军参军，库部郎，永世令。复为高祖太尉参军，转主簿，丹阳丞。少帝景平二年，入为尚书右丞。转左丞，司徒右长史。府公王弘甚知重之，谓左长史庾登之、吏部尚书王准之曰：“卿二贤明美朗识，会悟多通，然弘懿之望，故当共推羊也。”顷之，入为黄门侍郎。

善弈棋，棋品第三，太祖与睹郡戏，胜，以补宣城太守。先是，刘式之为宣城，立吏民亡叛制，一人不禽，符伍里吏送州作部，若获者赏位二阶。玄保以为非宜，陈之曰：“臣伏寻亡叛之由，皆出于穷逼，未有足以推存而乐为此者也。今立殊制，于事为苦。臣闻苦节不可贞，惧致流弊。昔龚遂譬民于乱绳，缓之然后可理；黄霸以宽和为用，不以严刻为先。臣愚以谓单身逃役，便为尽户。今一人不测，坐者甚多，既惮重负，各为身计，牵挽逃窜，必致繁滋。又能禽获叛身，类非谨惜，既无堪能，坐陵劳吏，名器虚假，所妨实多，将阶级不足供赏，服勤无以自劝。又寻此制，施一邦而已，若其是邪，则应与天下为一；若其非邪，亦不宜独行一郡。民离忧患，其弊将甚。臣忝守所职，惧难遵用，致率管穴，冒以陈闻。”由此此制得停。