他建了南山楼后，乡村的文人雅士常在此谈诗论酒，吴江莫旦、上虞徐济、古剡李时通、石城吕鸣、南明俞锓、吴世溥、赤城贾颖、越僧一山、天童释怀让等人都有诗文相酬和。其中的莫旦，吴江人，时任新昌儒学训导，主纂成化《新昌县志》，和王镇交游甚密，成化《新昌县志》助刊姓氏中因有王以安之名。莫旦的《南山楼诗为以安王公赋》云：“南山楼上看南山，山色苍苍无老颜。林鸟乱啼春昼永，野花争发片云闲。主人置酒情非浅，众客题诗兴不悭。醉后不知明月上，几回临别又忘还。”

王镇终老南山以后，莫旦为他撰写墓志铭、祭文、挽诗和像赞，对这位长者的钦佩和怀念之情充溢字里行间：“处士自少醇厚，读书好礼，精通于史学，奉先训子，厥有成度。平居以严自处，及应事接物则煦然春温，见人之急，推财排之，里有非义者以义服之，故人无不感服。”