当时，南朝梁将领曹义宗据守穰城，多次在北魏边境侵扰。孝明帝就命于谨和行台尚书辛纂率兵征讨。相持数年，经历了几十次战斗。于谨升任为都督、宣威将军、冗从仆射。

武泰元年（528年），孝庄帝元子攸即位，任命于谨为镇远将军，不久改任直寝。又跟随太宰元天穆征讨葛荣，平定邢杲，拜为征虏将军。

永安二年（529年）——建明元年（530年），于谨跟随尔朱天光打败万俟丑奴，被封为石城县伯，食邑五百户。

普泰元年（531年），于谨任征北大将军、金紫光禄大夫、散骑常侍。又跟随尔朱天光平定宿勤明达，另外再讨伐夏州贼寇贺遂有伐等人，将他们平定，授任大都督。他跟随尔朱天光同高欢在韩陵山作战。

太昌元年（532年）二月，尔朱天光战败，于谨就进入潼关，投奔贺拔岳。

贺拔岳上表将于谨留下镇守，任命于谨为卫将军、咸阳郡守。

永熙二年（533年）八月，贺拔岳任命宇文泰为使持节、武卫将军、夏州刺史。宇文泰到了夏州后，任命于谨为防城大都督，兼任夏州长史。

永熙三年（534年），贺拔岳被杀害，宇文泰前往平凉，继任首领。于谨就对宇文泰说：“魏朝国运衰微，权臣专权，成群的盗贼蜂拥而起，百姓嗷然。明公仗着世间少有的英姿，胸怀济世的才略，四方远近的人，都已归心。希望您早作打算，不要辜负众人的期望。”宇文泰说：“我应该怎么做呢？”于谨回答说：“关中是秦汉旧都，古人称之为天府，这里将士骁勇，土地肥沃，南边有富饶的巴蜀可以依靠，北边有丰饶的牛羊牧产。现在我们如果占据要害的关内，召集关内英雄，养兵劝农，富国强兵，足以坐观关东时局的变化。况且魏天子在洛阳为群雄所逼迫，如果向天子陈说你的诚意，说明时局的利害，请求天子建都在关西，天子必定嘉许而西迁。然后您挟天子以令诸侯，奉皇命以伐暴乱，这是齐桓公、晋文公那样的事业，这可是千载难逢的机会。”宇文泰深以为然。正好孝武帝元修敕令将于谨调回任阁内大都督，于谨趁机献上迁都关中的计策，北魏孝武帝采纳了他的意见。不久，高欢听说孝武帝有西迁的打算后率军进逼洛阳，于谨随北魏孝武帝西迁。接着他又跟随宇文泰出征潼关，攻下回洛城，被任命为使持节、车骑大将军、仪同三司、北雍州刺史，晋爵为蓝田县公，食邑一千户。

大统元年（535年），于谨被授任骠骑大将军、开府仪同三司。大统三年（537年），夏阳人王游浪聚众占据杨氏壁叛乱，于谨出兵讨伐并擒获了他。同年，西魏军东出征讨东魏，于谨充当前锋，进军到盘豆。东魏将领高叔礼据守险要城池与西魏对峙，于谨击败了他，俘虏兵众一千人。趁此又攻下弘农，擒获东魏陕州刺史李徽伯。

大统三年（537年）十月，高欢抵达沙苑，沙苑之战爆发。于谨随宇文泰和将领们奋力作战，打败了高欢，晋爵为常山郡公，增加食邑一千户。

大统四年（538年）八月，于谨又随宇文泰在河桥作战，任大丞相府长史，兼任大行台尚书。稽胡帅夏州刺史刘平叛乱，于谨率兵讨伐平定了他。因功任大都督、恒并燕肆云五州诸军事、大将军、恒州刺史，入任太子太师。

大统九年（543年），于谨又跟宇文泰东出征讨，进攻柏谷坞，大胜。同年，东西魏爆发邙山之战，西魏军失利，于谨率领他手下的兵马假装投降东魏，站在路旁。高欢的军队乘胜追击逃兵，不曾戒备。等追击的骑兵过完了，于谨就从后面攻击他们，东魏军惊慌失措。独孤信又聚集兵士在后奋力冲杀，高欢的军队就乱了起来，因此西魏军得以保全。

大统十二年（546年），于谨任尚书左仆射，领司农卿。到侯景归附西魏时，请求西魏派兵作为支援，宇文泰命李弼带兵接应他。于谨劝谏说：“侯景年轻的时候就通晓军事谋略，他如今的意图很难窥测。应当先给他厚礼高官，看他有什么动作。现在马上派兵去接应，大为不可。”宇文泰没有听从于谨的劝告。不久宇文泰又让于谨兼任大行台尚书、丞相府长史，带兵镇守潼关，加授华州刺史，赠给他秬蒨酒一卣，附带上圭瓒。不久任司空，增加食邑四百户。

大统十五年（549年），于谨升为柱国大将军。大统十六年（550年），高欢之子高洋篡位称帝，建立北齐，宇文泰出兵征讨，任命于谨为后军大都督。另封他的一个儿子为盐亭县侯，食邑一千户。西魏恭帝元年（554年），任雍州刺史。

主词条：江陵之战

当初，南朝梁元帝萧绎平定侯景之乱，在江陵继位，秘密与北齐通使，打算侵犯西魏。梁元帝兄长的儿子岳阳王萧詧当时任雍州刺史，因为梁元帝杀死了萧詧的哥哥萧誉，双方就结下怨仇。萧詧占据着襄阳前去归附西魏，并请求西魏派兵支援。

西魏恭帝元年（554年），西魏朝廷就命于谨率兵出征，宇文泰在青泥谷（在今陕西蓝田县城侧）为他饯行。长孙俭问于谨说：“你替萧绎打算一下，他会采取什么样的办法？”于谨说：“在汉、沔炫耀兵威，把军民财物统统带上渡过长江，只据守丹阳（今湖北省枝江市东北），这是他的上策；迁徙外城内居民，退守子城，加高外墙，等待外援，这是他的中策；如果难于迁徙，据守外城，这是他的下策。”长孙俭说：“那萧绎会用哪个计策呢？”于谨说：“他一定会用下策。”长孙俭说：“他为何会放弃上策而用下策？”于谨回答说：“萧氏据守江南，经历了几十年。正逢中原多事，没有顾得上向外经略。又认为我们有北齐为患，一定分不出兵力。而且萧绎怯懦无谋，多疑虑而少决断。愚民难以与之谋划事情的开始，都留恋城里原来的住宅，既然不愿意迁移，就得据守外城。所以说他会用下策。”

于谨于是派中山公宇文护和大将军杨忠等人，率领精锐骑兵先占据长江渡口，切断梁人出逃的道路。梁人在外城竖立木栅，周围六十里。不久于谨就到了，将军队全部调来把城围起来。梁元帝多次派兵在城南出战，立即就被于谨打败。围了十六天，外城陷落。梁元帝退守子城。第二天，梁元帝率领太子以下的臣民，反绑着手出城投降。于谨俘虏了南梁男女十多万人，收缴了府库中的珍宝。得到南朝宋的浑天仪、南梁的日晷铜表、曹魏的相风乌、铜蟠螭趺、直径四尺周围七尺的大玉和那些舆辇法物都带回献上，军队没有私占财物。立萧詧为梁国皇帝，整顿部队凯旋而归。宇文泰亲自到他的第宅，和于谨饮宴笑谈极为欢洽。赏赐于谨奴婢一千口，还有南梁的宝物，以及金石丝竹乐一部，另外加封新野郡公，食邑二千户。于谨坚决推辞，宇文泰不准许。又命乐官作了十首《常山公平梁歌》，叫乐工歌唱。

于谨自认为长期掌握权势，地位声望隆重，功名既已建立，情愿保住悠闲的生活，就把他所乘的骏马和所穿的销甲等献上。宇文泰明白他的意思就说：“如今巨猾还没有平定，你岂能就独善其身。”就没有接受。西魏恭帝三年（556年）正月，六官制度建立，于谨任大司寇。

西魏恭帝三年（556年）十月，宇文泰去世，宇文泰世子宇文觉还幼小，中山公宇文护虽然接受了宇文泰的临终遗托，但名望地位向来低下，各位王公大臣们都图谋执掌朝政，没有谁肯顺服他。宇文护很是担忧，私下找于谨请教。于谨说：“我早就蒙受丞相的特别关怀，遗恩情和骨肉至亲一样深。今天的事情，我一定会以死相争。如果面对众人确定国策，那您一定不要辞让。”

第二天，各位王公聚集在一起商议。于谨说：“过去帝室倾覆危败时，人人企图问鼎。丞相立志匡扶拯救帝室，挥袖操戈，才使国家的命运得以中兴，百姓得以安生。如今上天降祸，丞相突然离弃百官。嗣位的世子虽然幼小，中山公则像他的儿子那样亲，加上他亲自接受了丞相临终的委托，军国大事，理所当然应该归他掌理。”说的时候言语神色严厉，众人都被震惊了。宇文护说：“这是我们的家事，我平时虽然平庸愚昧，但怎敢推辞。”

于谨既和宇文泰的资历地位相等，宇文护常对他表示礼貌尊敬。到此时，于谨就走上前说：“您如果统理军国大事，那我们这些人就有依靠了。”于是向宇文护跪拜了两次。王公大臣们受到于谨的逼迫，也跟着跪拜了两次，因此大家的意见才确定下来。

北周孝闵帝元年（557年），宇文护拥立宇文觉为帝，建立北周，史称孝闵帝，于谨被进封为燕国公，食邑一万户。升任太傅、大宗伯，和李弼、侯莫陈崇等人参议朝政。到贺兰祥讨伐吐谷浑时，于谨遥领军队，教授策略。

保定二年（562年），于谨因年老，上表请求辞去官职。周武帝宇文邕下诏说：“过去姜尚年过九十，召公奭几乎接近一百岁，都为王室效劳，自强不息。如今朝内元凶尚未铲除，九州还没有统一，正打算以您作为舟楫，广泛救助解脱艰难，岂能让您忘记姜尚、召公二公的美好情操，而有这样的请求。我为此感到惭愧。您如果再坚持谦逊，有关官员应当拒绝启奏。”

保定三年（563年）四月，周武帝下诏说：“树立元首，主持教化，让百姓遵奉孝悌，使仁者长寿。所以古代贤明的帝王，都按这种典制，设立三老五更，亲袒右膊切割牲肉举行敬老的礼仪。我以渺小之身，居于帝王之位，怎敢遗弃老人，不加以尊敬。太傅、燕国公于谨，品德淳朴，是国家的元老，给他举行锁食乞言的礼仪，让朝廷内外都瞩目。可任命他为三老，有关官员应备好礼仪，选择好日子上报。”于谨上表坚决推辞，周武帝下诏不准。又赐给他延年杖。

周武帝宇文邕前往大学为他馈食。三老入门，周武帝在大门和屏风之间迎拜，三老回拜。有关官员在中楹设置三老的席位，面向南方。太师、晋国公宇文护登上台阶，在席前设置几案。三老入席，向南紧靠几案坐下，以老师的身份自居。大司寇、楚国公豆卢宁登上台阶，把于谨的木屐放正。周武帝登上台阶，站在画着斧头的屏风之前，面向西方。有关官员递上菜饭，周武帝跪着摆设酱碟，亲自卷袖露臂切肉。三老进食完后，周武帝又亲自跪着递送漱口的酒。有关官员撤掉了筵席。周武帝面向北面站立着向于谨请教治国之道。

保定四年（564年），晋公宇文护出兵东伐北齐，于谨当时已经因年老病倒，宇文护因为他是宿将旧臣，仍请求他一同前往，在军事战略上请教他。大军回来，赐给他钟磬一部。

天和二年（567年），宇文护又赐给他安车一乘，不久授任雍州牧。

天和三年（568年）三月二十三日，于谨死于任上，终年七十六岁。周武帝宇文邕亲自前往吊唁，下诏令谯王宇文俭监护丧事，赐给缯彩一千段，粟麦五千斛，追赠他原有的官职，加授使持节、太师、雍恒等二十州诸军事、雍州刺史，谥号为文。到下葬时，王公以下的官员，都送葬到郊外。将他配祭在太祖的庙庭。

《周书·卷十五·列传第七》

《北史·卷二十三·列传第十一》

于谨有智谋，善于为主上效力。他的名望地位虽然很高，但他更加谦让。每次上朝参拜回来时，只有两三个侍骑跟随而已。朝廷凡是有军国大事，大多由于谨决断。于谨也竭尽自己的才智能力，辅佐调和帝室。所以在功臣当中，特别受到委用信任，始终如一，人们也没有说闲话的。他常教训儿子们，一定要恬静谦退。加上他年寿很长，受到的礼遇隆重，他的子孙绵延，都官位显达，当时没有人能够和他相比。

元天穆：王佐材也。”

元晏：又有于谨者，智略过人

令狐德棻《周书》：李弼、于谨怀佐时之略，达启圣之运，绸缪顾遇，缔构艰难，帷幄尽其谟猷，方面宣其庸绩。拟巨川之舟艥，为大厦之栋梁。非惟攀附成名，抑亦材谋自取。及谨以耆年硕德，誉重望高，礼备上庠，功歌司乐，常以满盈为戒，覆折是忧。不有君子，何以能国。；性沉深，有识量，略窥经史，尤好《孙子兵法》

李延寿《北史》：负佐时之略，逢兴运之期，为大厦之栋梁，拟巨川之舟楫。卒以耆年硕德，誉高望重。礼备上庠，功歌司乐。而常以满盈为诫，覆折是忧，不有君子，何以能国。”深沉有识量，略窥经史，尤好《孙子》兵书。”

张预《十七史百将传》：“于谨，字思恭，河南洛阳人。性沉深，有识量，略窥经史，尤好孙子兵书。孙子曰：‘退而不可追。’谨令人乘己马而误敌之追。又曰：‘佯北勿从。’谨伪降而破神武。又曰：‘策之而知得失之计。’谨料萧绎必出下策。又曰：‘内间者，因其官人而用之。’谨因萧詧与梁主结隙而听其来附是也。”

陈元靓：“道作兵钤，言为帝则。悬运嘉谋，立倾敌国 。取贵以功，镇时以德。善始令终，人臣楷式。”

唐代建中三年（782年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“周太傅大宗伯燕国公于谨”。北宋宣和五年（1123年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括于谨。在北宋年间成书的《十七史百将传》中，于谨亦位列其中。

曾祖：于婆，字仁生，太中大夫，怀荒镇将。

祖父：于子安，字安定，平原郡守、高平镇将。

父亲：于提，陇西郡守、茌平县伯，赠使持节、柱国大将军、太保、建平郡公。

于实（寔），上柱国、大左辅，袭爵燕国公。

于翼，上柱国、大司徒、太尉，封常山郡公，娶宇文泰之女平原公主。

于义，上柱国、潼州总管，封建平郡公。

于礼，上大将军、赵州刺史，封安平郡公。

于智，上柱国、凉州总管、大司空，封武威郡公，加封齐国公，追赠太师、雍州牧。

于绍，上开府、绥州刺史，封华阳郡公。

于弼，上仪同，封平恩县公，官至。

于兰，上仪同，封襄阳县公。

于旷，上仪同，追赠恒州刺史。

于顗，于实之子，吴州总管、泽州刺史，袭爵燕国公。

于仲文，于顗弟，柱国、光禄大夫，封延寿郡公。

于象贤，于仲文弟，仪同三司，娶北周武帝宇文邕之女。

于玺，于翼之子，上大将军、汴邵洛熊四州刺史，封黎阳郡公。

于诠，于玺弟，上仪同、小吏部下大夫，封常山郡公。

于让，于诠弟，仪同三司。