生于明光宗泰昌元年，卒于清圣祖康熙九年，年五十一岁。少颖慧，6岁能辨四声，9岁作文便有佳句。长益笃学，尤好诗古文。在乡塾读书时，诸儿喧诵，谦独端坐默读，考问则对答无遗。青年时家境富裕，遇童子试，借故违父命，未应试。而彻夜读书，往往鸡鸣始罢，上自经史，下及诸子百家稗野之书，无不博览。明崇祯十五年(1642)，补县学生。后家道中落，谦不谈世务，也无意仕途，隐于临平之东乡。深居南楼20年，而与柴绍炳、毛先舒并长于韵学；绍炳作有《古韵通》，先舒作有《南曲正韵》，谦作有《东江词韵》，与毛稚黄、张祖望赋诗为乐，皆为时所称，称“南楼三子”。因愈为人重。又与陆景宜、柴虎臣、吴锦雯、陈继叔、孙宇台、丁飞涛、虞景铭等合称“西泠十子”。其诗初喜“温、李”，后乃由盛唐以窥汉魏；尤工于词，与董士骥极为彭孙遹所推许。