金在鲁出身老论世家，曾祖父金克亨官至吏曹正郎，祖父金澄官至全罗道观察使，后因贪污受贿被罢官流放，父亲金构则在朝鲜肃宗时期官至右议政。金在鲁于1702年中小科进士，1710年春塘台文科乙科及第，历任世子侍讲院说书、艺文馆检阅、司宪府持平、弘文馆修撰等职。1716年作为副修撰弹劾少论柳凤辉、郑栻，迫使其下台。1718年任司谏院献纳、同副承旨、大司谏，翌年外放全罗道观察使，又调任成均馆大司成、承旨等职。

1720年朝鲜景宗即位后，任户曹参议、承旨、艺文馆副提学、吏曹参议等职。1721年任大司谏、兵曹参判、礼曹参判、开城留守。1722年因辛壬狱事而被罢免，流放蔚山。1724年朝鲜英祖即位后获释，翌年起用为大司谏，后历任吏曹参判、左宾客、礼曹参判等职。1727年丁未换局后，随着少论上台，再遭罢免。1728年李麟佐之乱后起用为忠州牧使，兼任湖西安抚使，负责善后工作。后任吏曹参判、黄海道观察使、知敦宁府事兼守御使、庆尚道观察使，并曾参与编纂《景宗实录》。1731年任兵曹判书，其后历任户曹、吏曹判书。英祖认为他“持论不激”，可以作为老论一方的代表人物来主导荡平政策，乃于1735年十一月拜相，授左议政。1738年作为谢恩正使出使清朝，谢册封王世子李愃之恩。1740年庚申处分后，老论地位开始上升，他也被拜为领议政。此后十余年，主要是他在担任领议政，直到1754年五月卸任，任领中枢府事。1758年正月致仕，授奉朝贺。翌年十月十五日卒，享年七十八岁。英祖赐谥忠靖，后配享英祖庙庭。其从弟金若鲁、金尚鲁、儿子金致仁、侄孙金钟秀等在英、正两朝先后拜相。