康熙五十一年（1712）进士，工诗、出入香山、剑南之间。有《亲斋诗选》。松山张姓后裔，胶州城水寨人，晚年迁居今属胶南的南乡松山子。他出身于学问世家，自幼深受家庭熏陶，加之天分极高，少年时代便“以诗名负其雄才推到一世”；中年博览群书，“尤潜心宋儒性理之学”；晚年考中进士，做过康熙四皇子胤禛的老师，本可以做官，因痴迷于学问，故闭门潜心著书。为此，康熙赐其“山东学究”匾额。张谦宜著作很多，除当世编辑成集外，“未及纂录者凡数百卷”。他的著作内容包括经史、地理、诗文、理论、方志、谱牒、传记等，数量之大，范围之广，在山东胶州学者中首屈一指，在明清山东学者中也少见。

张谦宜考中进士后，在礼部谋了一个闲职。他是一个老学究，把心思全用在著书立说上，根本不留恋官场。康熙见他学富五车，才高八斗，便请他做四阿哥和十四阿哥的老师。张谦宜执教甚严，不避权贵，视皇子如平民。一次四阿哥读书不用功，被他毫不客气地以跪砖顶碗处罚。这事传到康熙那儿，龙颜大怒，怒斥道：″我儿子学为天子，不学亦为天子！″这位来自山东胶州的老先生只认死理，竟触龙颜反驳道：“学为尧舜之君，不学为纣桀之君！”康熙心里虽然恼火，但又不得不承认这个老学究说的不无道理，只好拂袖而去。