长孙俭，河南洛阳人。
原名庆明。
祖先是魏氏的支脉，姓托拔氏。
魏孝文帝迁至洛阳后，改姓长孙。
五世祖长孙嵩，曾任魏国太尉、北平王。
长孙俭从小为人正直，有操守节行，体态魁梧，神色严肃，即便在卧室，也终日不苟言笑。
不乱结交朋友，不与他志同道合的，即使是权贵来访，也不相见。
孝昌年间，入仕为员外散骑侍郎，跟随尔朱天光平定陇西。
太祖到夏州时，任命长孙俭为录事，对他很敬重。
贺拔岳被杀害后，太祖前去平凉，凡是有计谋策划，长孙俭全都参与。
跟随太祖平定侯莫陈悦，留下长孙俭担任秦州长史。
当时西夏州仍然没有归附，东魏派许和担任刺史，长孙俭凭信用仁义招抚许和，许和于是举州归附。
就任命长孙俭为西夏州刺史，总领三个夏州。
当时荆、襄两地归附不久，太祖上表称赞长孙俭功绩，建议委任东南，于是授荆州刺史、东南道行台仆射。
所辖郑县令泉璨被百姓告发，经审讯，罪证确凿。
长孙俭就把部属都召集在一起，对他们说：“这件事由于我教育不周，信用未能兑现，这是我的过错，不是泉璨的罪。”于是在大厅前，脱衣承受杖打，而不再治泉璨的罪。
从此以后，所属各城法纪严明，没有人再敢违犯法令。
魏文帝送去盖有印记的信表示慰问。
太祖又写信给长孙俭说：“最近路人传说您因为所辖县令有罪，竟自己受杖三十，用来严饬部下。
我从前听说‘王臣忠贞，不为自己’，是指为公忘私，凡知道该做之事就拼命去干。
没有像您这样严于律己、不惜自罚来教育部属的。
我听说后嘉许赞叹。”荆州旧俗，后辈不尊敬长辈。
长孙俭殷勤劝导，风俗大变。
努力推广农业，同时兼练军事，所以边境安定，百姓安居乐业。
官吏百姓上表请求为长孙俭修建清德楼，树碑称颂，朝廷允许。
在荆州共任职七年。
被调入朝，授大行台尚书，兼任相府司马。
曾与众官陪太祖坐，退下后，太祖对左右道：“这位先生闲适文雅，我每次同他说话，都有敬畏之感，恐怕有什么过错。”有一天，太祖对长孙俭说：“名称与实际应当相符，尚书既然安心贫素，可改名为俭，用来表彰您的高尚操守。”又被任命为行台仆射、荆州刺史。
当时梁国的岳阳王萧鮞归附，首次派遣使者入朝，抵达荆州。
长孙俭在官署陈列卫队仪仗，身穿军服，与使者以宾主之礼相见。
长孙俭相貌魁梧，声如洪钟，大说鲜卑语，让人翻译，以问候使者。
使者惶恐，不敢仰视他。
当晚，长孙俭穿着短衣裙裳，请使者在另一间屋里赴宴。
乘机说明梁国动乱、朝廷招携之意，言词动人。
使者十分高兴，出来后说：“我无法揣度他。”梁元帝在江陵继位后，对外和睦邻国，心中怀有诡计。
长孙俭秘密致信太祖，陈述进攻的策略。
于是调长孙俭入朝，询问计谋。
长孙俭答道：“如今江陵在长江以北，距我不远。
湘东即位，已经三年。
看其形势，不准备东下。
他们兄弟之间互相残杀，百姓厌恶他们的苛毒统治。
荆州的军用物资和各种器械，已经储备很久，如果大军南征，一定不用担心缺乏。
况且吞并弱小，攻取政治昏暗的国家，乃是兵法中的上策。
我朝已经据有蜀地，如果再平定长江、汉水，加以安抚，收其贡献赋税，供应国家，天下不愁平定。”太祖十分赞同，就对长孙俭说：“照您这样说法，我下手已经晚了。”命令长孙俭返回荆州，暗中作好南征准备。
不久，命令柱国、燕公于谨总领大军讨伐江陵，将其平定。
由于长孙俭最早谋划，赏赐奴婢三百人。
太祖写信给长孙俭说：“图谋江陵，计由君出，今日果然如您所言。
聪明的人能预见即将发生的事情，这是多么美妙啊！只是吴地百姓逃散，还要依靠你招募安抚，南土重镇，没有你是不行的。”于是命令长孙俭镇守江陵。
晋封昌宁公，升大将军，移镇荆州，总管五十二州。
长孙俭从前曾到皇宫汇报情况，当时正下着大雪，就站在雪中等候通报，从早晨一直站到天黑，脸上竟然没有显露出懈怠的神色。
他奉公尽心，都像这样。
天和三年(568)，因病回京。
后来被任命为夏州总管，随即去世，遗言请求葬在太祖陵宅，并把赏赐给自己的宅第归还公家。
诏命皆允许。
追封郐公。
荆州百姓仪同赵超等七百人，感激长孙俭的德政，赴宫请求为长孙俭建庙立碑，诏命允许。
建德元年(572)，下诏说：“从前叔敖辞去肥沃之地，萧何选择穷僻之乡，以古比今，无惭往哲。
言行美德，念念不忘。
而有司不识大局，竟然轻率地把其宅第分给外人。
如今应还给他的妻子儿子。”儿子长孙隆。