娄坚祖上曾为宫廷御医，后世代行医。父亲娄巽之为嘉定神童，未成年时，已补博士弟子第一。他十分注意培养教育娄坚。还在娄坚的少年时代，娄巽之就把娄坚送到安亭，让他师从古文大家归有光先生学习。娄坚的同学中，还有他的表哥唐时升。在归有光的悉心教育下，娄坚与唐时升刻苦求学，成为归有光的门生。由于诗文出众，在江南一带渐具文名。

娄坚所处的时代正值明代中晚期，以魏忠贤为首的宦官集团把持朝政，明王朝内忧外患，处于最黑暗腐败的时期。娄坚与唐时升、李流芳、程嘉燧声气相通生，人们尊称“嘉定四先生”，他们以学问品行为重，钟情于文学艺术，徜徉于山水园林之间，与海内的文人雅士交往，成为世人所瞩目的一个集团。

娄坚擅长书法。早年他学习锺繇、王羲之的字，晚年乃改学苏轼，一洗柔媚之习。当时社会上十分推崇流行董其昌的书法，而娄坚对此很不以为然，他认为董氏的书法秀整有馀，而苍劲不足。越至晚年，娄坚的书法成就越高。他的书法作品被人们称为“天下绝妙”。清康熙年间，苏州著名文人顾嗣业到嘉定访友，在一间破屋檐下看到一块被弃置不用的匾额，上面有娄坚题写的“秀野园”三个大字，他越看越爱，两足像被吸住似的，舍不得离开。最后与物主商量，买下带回苏州，挂在自家的园圃中，日夜与之为伴，一时传为佳话。