于谨字思敬，小名巨引。为人深沉而有见识，略略浏览一些经籍史书，特别爱好《孙子兵法》。闲居在家，没有做官的想法。遇到有人劝时，他就说：“州郡一类职务，向来为人所鄙视的，公卿一类高位，须等待时机。”太宰元天穆见了后，感叹地说“；真是王佐之材啊！”
待破六韩拔陵为首在北境叛乱时，援引蠕蠕作为后援，大行台元纂领兵讨伐，他一向听说于谨的名声，便请他当铠曹参军事，随军北伐。蠕蠕败逃出了塞外，元纂令于谨追击，前后打了十七场战斗，全部招降了敌军部众。后来曾率领车骑出塞侦察敌情，突然铁勒部几千骑人马奔驰而来，于谨因为寡不敌众，便将车骑分散开来，让他们藏入树丛深草之中，又派人登山指挥，就像是指挥部众分开的样子。贼军望见后，虽然也怀疑有伏兵，但他们倚仗人多势众并不害怕，便继续向于谨进逼。于谨过去经常乘坐两匹骏马，一紫一黄，敌军早就熟悉了，于谨便让另两个人各乘一匹马，突围而出。敌人以为于谨跑了，争先恐后去追赶。于谨便集合其余人马，攻击敌军的追骑。敌军只得逃走，于谨人马因而得以入塞。
正光四年(523)，行台、广阳王元深兴师北伐，请于谨为长流参军。他特别以大礼迎接，派他的世子佛瞓拜迎。于是，于谨随广阳王打败了敌军主师斛律野谷禄等。于谨又请求前往敌营中劝降。于谨懂得几国的语言，便单骑进入敌军营垒，向他们表达朝廷的恩惠和信用，于是西部铁勒的酋长也列河等三万多户均归附朝廷，率领部族进迁。广阳王和于谨到析郭岭迎接他们。于谨说：“拔陵的军队还很多，听说也列河等来归附，一定会前来袭击的。如果被他们先占领险要地方，就难以和他们争斗。如今我们用也列河作为诱饵，他们必定竞相前来抄掠，我们先设下埋伏等待他们，必定轻而易举地击败他们。”广阳王听从他的计策。拔陵果然前来攻击，他们在析郭岭上打败也列河，部众都陷入敌军围困之中。这时，于谨的伏兵四起，敌军大败，于谨全部收降了也列河的部众。
孝昌元年(525)，于谨又随广阳王征讨鲜于..礼。当军队到达白牛逻时，正赶上章武王被鲜于..礼所杀，他们便将军队停留在中山。侍中元晏在灵太后面前诽谤说：“广阳王领军盘桓不肯前进，显然坐等时机，有非分之想。他身边又有个于谨，智谋过人，充当他的主谋，恐怕他们不是陛下的忠臣。”灵太后便传旨，让人在尚书省的门外设立榜文，招募能够捕捉于谨的人，表示将给予重赏。于谨听说后，请求前往朝廷直接披露自己的真心，广阳王答应了。于谨便直接来到榜下，揭榜说：“我知道这个人。”众人一起查问他。于谨说“：我就是于谨。”官员们把这件事奏明朝廷。灵太后见到于谨后，大为恼怒。于谨详细陈述广阳王如何忠于朝廷，并说明军队停留在中山的原因。灵太后这才释放了他。
后来于谨又跟着尔朱天光与北齐神武帝在韩陵山对战，尔朱天光战败，于谨因而进入关中。
周文帝到夏州时，让于谨当防城大都督，兼夏州长史。当贺拔岳被害时，周文帝前往平凉。于谨对周文帝说“：关中是秦汉的旧都城，自古号称‘天府’。如今如能占据各个要害之地，招集四方英雄好汉，足以观察时局的变化。况且天子在洛阳，被群凶所逼迫。你请求朝廷迁都关内，然后可以挟天子而令诸侯，这是千载难逢的好时机啊！”周文帝听后，大为高兴。正好朝廷传令让于谨任关内大都督，于谨因此上奏迁都关中的计策。
魏帝西迁之后，于谨仍跟从周文帝攻打潼关，攻破了回洛城，并被任命为北雍州刺史，晋爵位为蓝田县公。大统三年(537)，大军东征时，于谨为先锋，进军攻下弘农郡，抓住了东魏陕州刺史李徽伯。齐神武帝到沙苑时，于谨奋力作战，晋爵为常山郡公。他又跟随到河桥作战，被任命为大丞相府长史，兼大行台尚书。再升任太子太保。芒山之战时，大军出师不利，于谨率部假降，列队立于路的左侧。神武帝乘胜向北追击，并不防备。于谨便从背后攻击，敌军大为惊恐。这时，独孤信又收兵从后面奋力攻打，神武帝军中大乱，因此西魏大军得以保全。大统十二年(546)，被任命为尚书左仆射，领司农卿。当侯景前来归附，请求派兵援助时，于谨进谏说，侯景的真心难以揣测，可是周文帝不肯听从。不久于谨又兼大行台尚书、大丞相长史，领兵镇守潼关，并被加授为华州刺史，赐给他用黑黍和香草酿成的美酒一尊，玉王圭、玉瓒一对。不久又被任命为司空。恭帝元年(554)，任雍州刺史。
当初，梁元帝在江陵继位时，曾秘密地和北齐联络，准备侵扰西魏。梁元帝哥哥的儿子岳阳王鮞当时为雍州刺史，他因为梁元帝杀了他哥哥誉，便有了仇隙，把所据有的襄阳来投降西魏。朝廷命令出兵讨伐梁朝。周文帝在青泥谷设宴为于谨饯行。长孙俭问于谨“：替萧绎设想该采取哪种计策？”于谨说“：显耀军威于汉、沔，倾其全力以渡江，直上攻占丹阳，是他的上策；迁移城郭中的居民，退守子城，等待援兵到达，是他的中策；如果难以迁移人口，坚守城郭，是他的下策。”长孙俭问“：判断萧绎会采用哪种策略？”于谨说：“肯定采用下策。”长孙俭问“：什么原因？”于谨回答“：萧氏占据江南，已绵延几代人之久，正好中原地区多事，没来得及对外扩张。又因为我们有北齐这个外患，他们一定认为我们的力量难以分开。况且萧绎为人懦弱而且没有谋略，多怀疑虑，难作决断。愚蠢的人难以考虑事情的始因，都贪恋安居城池，他既然厌恶迁移，当然就要坚守外城。所以肯定采用下策。”于谨命令中山公宇文护和大将军杨忠等先占领江边渡口，断绝梁人的退路。梁人在外城树立起木栅，一圈周长六十里。不久于谨兵到，他命令全军将城团团围住。过了十六天，外城被攻破，梁帝只得退保子城。第二天，梁元帝率领太子以下文武百官，自缚出城投降。不久于谨便将他们全杀掉了，俘获城中男女十多万人，收了梁朝府库中的所有珍宝，得到宋时制作的浑天仪、梁朝的日晷、铜表、魏国的相风鸟、铜盘龙趺座、大玉直径四尺，周围长七尺以及各种车驾，帝王所用各种器物献给朝廷，军队没有私留一点东西。同时，立萧鮞为梁帝，统领全军凯旋。周文帝亲自来到于谨的府中，设宴畅叙，极为欢乐。赏于谨奴隶一千人和梁朝的一些宝物，并有金石丝竹器乐一部，加封为新野郡公。于谨坚决辞谢，但周文帝不允许。周文帝又令乐官制作了《常山公平梁歌》十首，让乐工演奏歌唱。
于谨认为自己久担重任，掌握大权，如今功名已就，愿意保有悠闲的生活，便献上先前所乘的骏马和所穿的铠甲等物。周文帝明白他的心意，便对他说：“如今强敌未灭，你怎能便想独善其身呢？”终于不肯接受。建立六部官制时，于谨被任命为大司寇。
当周文帝死时，孝闵帝年纪尚幼。中山公宇文护虽受遗命辅政，但他的声名和职位一向比较低下，众位高官都想执掌朝政。宇文护十分忧虑，便秘密拜访于谨。于谨说“：我往昔承蒙丞相殊遇和眷顾，今日必当以死抗争。如果对着众官定下大计，您一定不要谦让。”第二天，众位公卿聚会商议，于谨说“：往昔帝室行将倾覆，外境艰难，丞相立志保存皇室，匡救于危难之中。今日上天降下灾祸，丞相突然抛下百官而去，嗣子虽然年幼，但中山公是丞相的亲侄子，并且受命辅助嗣子，军国大事，理当由他总管。”于谨说话时声色俱厉，众人心中都惊惧不已。宇文护说：“这是我家的家事，我怎么敢推辞责任呢？”于谨原是和周文帝同列的朝官，所以宇文护一向十分敬重他。这时，于谨便站立起来，说道“：贤公如果愿意统理军国大事，我们这些人也就有了依靠了。”于是，他便向宇文护作拜。众公卿迫于于谨的压力，也只得拜见宇文护。这样，众公卿才作了决定。
孝闵帝即位，晋封于谨为燕国公，食邑万户，晋升太傅、大宗伯，和李弼、侯莫陈崇等参议朝政。当贺兰祥征讨吐谷浑时，明帝命令于谨遥控指挥这支军队，传授作战的方略。
保定二年(562)，于谨以年老为由，请求朝廷让他退休养老，但不被允许。保定三年，让于谨成为朝中的三老之一，于谨坚决辞谢，又不得许可。赐给他延年杖。武帝亲临太学向三老进食。当三老入门时，皇帝迎拜于屏门，三老当即答拜。有关官员在中庭设下了三老的座席，面朝南。太师、晋国公宇文护登阶，陈设席位，铺好小几。三老入席，面朝南，靠小几坐下，以老师的身份自居。大司寇、楚国公宇文宁登阶，正鞋。皇帝登阶，站立在绘有斧形纹的屏风前，面向西。有关官员送来食品，皇帝跪着陈放酱豆，亲自卷衣袖割切食物。三老吃过以后，皇帝又亲跪向他们送爵(酒杯)，以酒漱口。(古代一种礼节，《礼记·乐记》“执酱而馈，执爵而..”)礼毕，有关官员撤下这些东西。皇帝面北站立问治国之道。三老便从席上站立起来。皇帝说：“我辱当天下重任，自知缺少才能，不知治理国政的要术，请诸公教诲。”三老答道“：木材经过绳墨以后就方正了，国君听从劝谏就是贤明的君主，自古以来的明君圣主，都是虚心听从劝谏，从而知道得失之处，天下因此而得安定，愿陛下经常想到这一点。”又一位说：“治国之本，在于忠信之道。古人可以没有食物，可以没有军队，但却不可以去掉信用。国家的兴废，无不因此而造成，请陛下谨守而不要失去。”又说：“治国之道，必须有法则。法，是治国的制度，不可以不公正。公正表现在赏罚方面，如果有功劳的就要奖赏他，有罪的一定要惩罚，那么做好事的人就越来越多，做坏事的就越来越少。如果有功劳不奖赏，有罪过不惩罚，那么天下就会善恶不分，下边的人不知道怎么做才好。”又说：“言论和行为，是立身的根基。说过话，行动就要跟上，诚恳地希望陛下认真记住。”三老说完后，皇帝再次向他们拜谢，表示接受教诲。三老也答拜，礼仪完毕后才离开。
当晋公宇文护东征时，于谨正在生病，宇文护因为于谨是久经沙战的老将旧臣，所以还是请他一起出征，以便经常请教谋略。东征回朝后，赏赐给他钟磬一部。天和二年(567)，又得赏赐安车一辆，不久又任他为雍州刺史。天和三年，逝世，享年七十六岁。周武帝亲临致哀，传旨让谯王俭监护治丧诸事，并赐给缯一千段，粟、麦一千斛，本官衔外，加封使持节、太师、雍、恒等二十州诸军事、雍州刺史，谥号为“文”。下葬时，自王公以下爵位的官员，都送到郊外。并配祭在周文帝的庙堂中。
于谨很有智谋，又善于侍奉皇上。他名声职位虽都很高，但自己却越加谦逊，自我约束。每次朝见皇帝，来往随从不过两三骑而已。朝廷中凡遇到军国要事，大多和于谨商议处置办法。于谨也竭尽自己的智慧和才能，所以在功臣当中特别受到信任，自始至终都一样，没有人说过他的坏话。他常常告诫自己的几个儿子，务必常想到清静寡欲，功成身退。他年纪活得很长，朝廷礼遇十分隆重，子孙成群，都成为有名声有地位的人，这种情况，当时没有人可以相比的。他的儿子萛继承了他的爵位。