吕大钧出身在一个官宦和书香门第之家。

北宋嘉祐二年（1059年），吕大钧中进士，被授予秦州（今甘肃天水）司理参军，后任延州（今陕西延安）监折博务、三原知县、后供（今福建福州）知县等职。

当被荐知泾阳时，父吕蕡病逝，他赶回奔丧。三年丧期满后，吕大钧自以为学识尚浅，于是他边辞官回到蓝田，开始传授张载学说，以“教化人才，变化风俗”为己任。

经过吕大钧多年努力，“关中风俗为之一变”。后来许多大臣都推举吕大钧为王宫教授，吕大钧不负重望，特写了《天下一家中国一人论》献上，文中描绘了建立“外无异人，旁无四邻，无寇贼可御，无闾里可亲”的共和大家庭的构思。不久担任凤翔船务官和制改宣议郎等职。

元丰年间（1078-1080），时值宋朝用兵西夏，吕大钧是富延（今陕西富县至延安一带）转运司副使。一次，种谔率兵已出塞外，可军需还没有接上，转运使李稷恐受军法，打算回安定（今陕北王家堡一带）取粮草，就派吕大钧向种谔请示，种谔得知后，怒道：“吾受命将兵，安知粮道，万一不继，召稷来，与一剑耳。”吕大钧替李稷求情，种谔听了吕大钧的解释，表示理解，但嘴上却说：“君欲以此报稷，先稷受祸矣！”吕大钧生气地说：“你以为这些话就能吓倒我吗？我奉命前来向你请示，你把我杀了，我毫无怨言，惟恐你会因此而受过。”种谔见吕大钧刚直不阿，只好同意吕大钧的意见，这才允许李稷免受处置。时间不长，吕大钧就在任上病逝，时年五十二岁。