许谦为晋许孜后裔。先世屡因游宦而迁籍外地，祖父许应鸾由金华迁东阳。母陶氏，居白云笠泽。年幼丧父，母口授《孝经》《论语》。六岁，出继金华堂叔许觥为嗣。师承金履祥，刻苦勤奋，不数年尽得其传。许谦不胶古，不流俗，素志恬淡，以道自乐。官府屡为辟荐，均固辞。浙东廉访副使赵宏伟驻节金陵，让许谦为师，教其子弟。

元延祐元年（1314），许谦眼患白内障乃归，为门人许孚吉迎到八华山居住，不久开门讲学。亲撰《八华讲义》及《学规》。声誉所及，“远而幽冀齐鲁，近而荆扬吴越”。许谦教人，“至诚谆悉，内外殚尽”，深入浅出，因材施教，独不授科举文。及门弟子，见于著录者千余人，各有成就。

许谦学识渊博，举凡天文、地理、典章制度、食货、刑法、文学、音韵、医经、术数以及释、老，无不通晓。人称“白云先生”。为人师表40年。卒谥“文懿”。