虞世南字伯施，越州余姚人，是隋代内史侍郎虞世基的弟弟。他的祖父虞检，是梁代始兴王咨议。他的父亲虞荔，是陈代太子中庶子，都有尊贵的名望。他的叔父虞寄，是陈代中书侍郎，没有子嗣，以世南为继嗣的后人，因此世南取字伯施。世南生性沉静寡欲，意志坚定努力学习，年少时与他的哥哥世基一起在吴郡顾野王的门下读书，受学十多年，他勤奋努力精思不懈，有时十几天不洗脸不梳头。擅长做文章，曾师法著名文学家徐陵，徐陵也认为世南得到了自己的真髓。世南同郡的和尚智永擅长王羲之的书法，世南拜智永为师，深得王羲之书法真传，由此名声更大。
天嘉年间，世南的父亲虞荔去世，当时世南还年幼，他因悲哀过度瘦损得几乎受不住丧服。陈文帝知道虞荔的两个儿子博学，常从宫廷中派出使者到他们家里去扶助卫护他们。世南居丧期满，被召为建安王法曹参军。他的叔父虞寄被陈宝应捕获，在闽、越一带，世南虽然已除去丧服，却还是布衣蔬食。到太建末年(582)，陈宝应战败，虞寄得以生还，才令世南脱去布衣吃肉食。至德初年(583)，除西阳王友。陈朝灭亡，世南与世基一起到京都长安，兄弟二人都名重一时，当时的人把他们比作西晋的陆机与其弟陆云。那时隋炀帝在做晋王，听到他们的名声，隋炀帝与秦王俊征召的文书一起送到，世南以母亲年老为借口，坚决推辞了，晋王命令使者去追他们。大业初年(605)，世南接连被授为秘书郎，升迁为起居舍人。那时世基在当朝非常显贵，妻子穿衣都模仿王者，世南虽然同他们住在一起，却清贫节俭，不改变自己的性情。等到隋朝灭亡，宇文化及反叛杀君，世基任内史侍郎，也将被杀，世南抱持着世基痛号悲泣，请求让自己替兄受死，化及不接受他的请求，世南因此悲哀得瘦损异常，形销骨立，当时的人都称赞他的行为。世南随化及到聊城，又被窦建德抓获，伪授黄门侍郎。
太宗灭了窦建德后，世南被授为秦府参军，不久转任记室参军，授弘文馆学士，与房玄龄共同掌管诏告文翰。太宗曾令世南写《列女传》用来装屏风，当时没有底本，世南默记刻写它没有错一个字。太宗正式封为太子后，升任世南为太子中舍人。到太宗即位，世南转任著作郎，兼弘文馆学士。当时世南年已衰老，上表请求辞官，太宗下诏不许他辞官，升任他为太子右庶子，世南坚决推辞不受职，被授任为秘书少监。世南上《圣德论》，文字多无记载。贞观七年(633)，世南转任秘书监，赐爵永兴县子。太宗器重他的博识，常常在处理军政大事的间隙，召世南在一起谈经论史。世南虽然容貌柔弱得像是受不了衣衫，但志性却刚烈，每每谈到古时先代帝王为政的得失，必定诚心以正言相劝诫，对当时的政事多所补益。太宗曾对侍臣说“：朕借闲暇的时间与世南商讨古今政事，有一个字的差错，未尝不惆怅恼恨，他恳切诚挚到这种程度，朕用他用得好啊。群臣都像世南这样，天下还愁有什么不能治理。”
贞观八年(634)，陇右山崩，大蛇多次出现，山东及江淮多次遭大水。太宗以这事问世南，世南回答说：“春秋时梁山崩，晋侯召伯宗问这件事，伯宗回答说‘：国家主宰山川，所以山崩川竭，君王因此不奏乐，穿素服，乘坐没有花纹的车、撤去音乐、出宫住宿、太祝陈献币帛用来祭祀神灵。’梁山，属晋国主宰，晋侯听从了伯宗的话，所以没有受到危害。汉文帝元年(前179)，齐、楚一带二十九座山同一天崩裂，洪水大肆泛滥，汉文帝命令郡国不要来进贡，对天下广施恩惠，远近欢乐和谐，也没有成灾。后汉灵帝时，青蛇出现在御座上。晋惠帝时，大蛇长三百步，出现在齐地，经过市区进入朝廷。蛇应当在草野之中，但它进入市区朝廷，所以可以认为是怪异的。如今蛇在山泽出现，深山大泽自然有龙蛇，也不足为怪。再说山东多雨，虽然合乎常规，然而阴雨连绵过久，恐怕有冤狱，应当审断关押的囚犯，或许可以符合天意。况且妖邪不能制服道德，只有遵循道德可以削减突发的事故。”太宗认为他说得对，因此派使者救济饥民，审理官司辨断冤案，多有赦免宽恕。
后来有一颗彗星出现于虚、危宿之间，经过氏宿，一百多天才消失。太宗对群臣说：“天上出现彗星，是什么妖邪呢？”世南说：“过去齐景公时有彗星出现，景公问晏婴，晏婴回答说‘：凿池沼怕它不深，兴建台榭怕它不高，施用刑罚怕刑罚不重，因此天上出现彗星来警诫您。’景公害怕而遵循道德，过了十六天彗星消失了。我听说：‘天时不如地利，地利不如人和’，如果不遵循道德义理，即使获得麟凤，终究是于事无补，但政事没有过失，即使有灾星，也于时无损。希望陛下不要因功高而自以为了不起，不要因太平久了而骄傲松懈，始终如一，即使出现彗星，也不足为它忧虑。”太宗神情严肃地对他说：“我治理国家，确实没有齐景公那样的过失。但我才二十岁就发动义兵，二十四岁平定天下，不到三十岁就居于帝位，自认为夏、商、周以来，治理乱世的君主，没有人达到这样的。再拿薛举的骁勇，宋金刚的凶猛，窦建德横跨河北，王世充占据洛阳来说，在那个时候，够得上是劲敌，都被我擒获。到遭逢家难，又决定安定社稷，于是登上帝位，降服北方的异族，我颇有些自傲的意向，以此轻视天下之士，这是我的罪过。上天出现变故，确实是为这吗？秦始皇平定六国，隋炀帝富达四海，骄奢淫逸，一个早上就灭亡了，我又怎么能够自骄呢？想到这里，不觉由此警惕震惊。”四月，康国献来狮子，太宗诏令世南为之做赋，在东观编撰，文字多无记载。
后来高祖去世，太宗诏令高祖的坟墓依照汉长陵的先例，务必要隆重丰厚，安葬期限已经迫近，建筑工程繁劳艰难。世南上密封的奏章规劝说：
“我听说古代圣明的帝王所以薄葬的，并不是不想要高贵光耀、准备珍宝物器来厚葬自己的亲人。可是认真想一想，高坟厚垅，珍物齐备，这恰恰会成为亲人的累赘，而不是孝。因此深思远虑，安于菲薄，是为长久万代考虑，割舍人之常情而决定的。从前汉成帝造延、昌二陵，制度非常优厚，工程费用很多。谏议大夫刘向上书，他的话深刻恳切，都合乎事理，上书大致是说：‘孝文帝在霸陵，凄怆悲怀，看着群臣说：“啊！以北山做棺椁，把麻絮斩断排列涂漆在它的间隙里，难道还可以动它吗？”张释之走上前说：“假若墓中有可贪欲的东西，即使用铜铁铸塞南山也有缝隙，假若墓中没有可贪欲的东西，即使没有石椁，又有什么愁的呢！”死去的人没有终极，然而国家有废兴，释之所说的话是为长久打算。孝文帝领悟了其中的意思，于是对汉成帝施行薄葬。’再说汉朝的制度，君主在位，把天下的赋税分为三份，拿一份纳入帝王的坟墓。武帝经历的年代长久，等到入葬时，陵墓中不能再容纳物品，霍光不识大体，奢侈过度。那以后到更始战败，赤眉贼入长安，毁坏汉武帝陵墓茂陵，掠取宝物，还拿不完。无故搜刮百姓，被强盗取用，是很没有意义的。魏文帝在首阳东建寿陵，做关于丧葬的文告，文告大致是说‘：过去丧葬在寿陵，依山造成墓的形体，没有封树，没有建寝殿园邑，造棺椁足以藏遗骨，做衣服足以裹朽肉。我营造这不食之地，想使更易朝代之后，不知道它的位置，不藏金银铜铁，一律用瓦器。从古到今，没有不亡的国家，没有不掘的坟墓，以至于烧取玉匣金缕，骸骨一起烧尽，还不痛心吗？如果违背诏令妄有改变，我在地下被斩戮尸体，死了一次再死一次，不忠不孝，使鬼魂知道，将不赐福给你。这作为永久的制度，藏在宗庙中。’魏文帝的这个制度，可以说是通达事理啊。
“假如陛下的德行只是如同秦汉的君主，臣就闭口而已，不敢有什么话说。我恭敬地看到陛下圣德高远，尧、舜还有所不及，却屈身与秦汉的君主一样奢霍无度，舍弃尧、舜、殷、周的节俭，这是我所尤其发愁的。现在建造丘垅像这个样子，它里面即使不藏珍宝也是无益的。万代之后，只要看见高坟大墓，人们难道认为里面没有金玉吗？我的愚虑，认为汉文帝的霸陵，既然依着山势，即使不起坟，也自然高显。现在所卜测的墓址，地势接近平坦，不能不修起来，应当依照《白虎通》所列举的周代法制，造三仞高的坟，建筑坟墓的制度，事事减少，墓建成之日，刻石碑立在陵墓旁，明确陵墓大小高低的标准，随葬器物，都用瓦木，合乎礼节仪式，一律不准用金银铜铁。让万代子孙，一起都遵守奉行，一起全部藏在宗庙里，难道不好吗？况且臣下除去丧服为三十六天，已经依照霸陵的制度，现在修坟垅，又依照长陵为标准，恐怕不适宜。我恭敬地愿陛下深览古今，为长久考虑。臣的赤子之心，只愿万岁之后，神道长安，陛下的孝名，传扬天下没有尽头而已。”
书奏没有得到回答，世南又上奏疏说“：汉家即位之初，就营造陵墓，近的十多年，远的五十年，才开始建成，现在用几个月的时间而建造几十年规模的陵墓，这对于人力也已经劳乏了。再说汉家大郡五十万户，眼前的人数不及过去，而工程却与它相等，这是导致我疑虑的原因。”当时公卿又上奏请求太宗遵守遗诏，务必要节俭，因此太宗把这事交付主管的人详议，于是殡葬制度很有减省。
太宗后来颇好狩猎，世南上疏规劝说“：我听说秋天打猎，冬天打猎，这是通常的制度；射鹰放禽，都有从前的告诫。我想，陛下用处理政事的余暇，依自然的规律去杀伐，准备亲自抛弃朝中用的障扇，亲自驾驭虎皮装饰的车，捣尽猛兽的窟穴，取尽山林水泽间的良材。削平凶残剪除暴虐，以此保卫百姓，收集皮革拢取羽毛，用来充当武器，举旗颁赐出猎所得，遵照前古的仪式。然而黄屋之尊，金舆之贵，是八方所敬慕的德行，万国关联的中心，先使道路清净再出行，还要提防倾覆之祸，这样看重谨慎、防微杜渐，是为了社稷。因此马卿直言规劝在前，张昭争论变色在后，臣确实低微卑贱，怎敢忘这个道理？况且所射死的鸟兽已经很多了，颁赐所获的猎物，皇恩也广大啊。愿陛下按时停止出猎，姑且掩藏长戟，不拒绝草野小民的请求，俯纳细小的水流，赤身徒手搏斗的人，任他们在自己身边，就会成为遗留后世君王的典范，永光万代。”其中犯颜直谏的话，多是这一类。太宗因此更加亲近、礼待世南。太宗曾经称赞世南有五绝：一曰德行，二曰忠直，三曰博学，四曰文辞，五曰书翰。
贞观十二年(638)，世南又上表请求辞官归居，太宗格外开恩应许他，仍授银青光禄大夫、弘文馆学士，禄赐、防门合并同京官职事。不久世南去世，时年八十一岁。太宗在别室为他举哀，哭得非常悲恸。赐给棺木，让他陪葬在昭陵，赠礼部尚书，赐谥号文懿。下手令给魏王泰说“：虞世南对于我，像是一个人，纠正帝王的过失，没有一天有片刻的忘记，确实是当代名臣，人伦的准则，我有小的过失，世南必定犯颜直谏。现在他已亡故，石渠、东观之中，再也没有这样的人了。悲痛、惋惜怎么可以说啊！”不久，太宗为他做诗一篇，追述往古兴亡之道，接着感叹说：“钟子期死，伯牙不再鼓琴。朕的这篇诗，将拿给谁看呢？”于是命令起居郎褚遂良拿诗到世南的灵帐边读完后焚烧，希望世南的神灵知道感悟。几年后，太宗夜里梦见世南，像平时活着一样。第二天，太宗下令说：“礼部尚书、永兴文懿公虞世南，德行淳朴完备，文章是辞赋的宗师，早晚尽心，志在忠益。忽然去世，转眼过了几年。昨因夜梦，忽见其人，并且进谏直言，有如平生之日。追怀他留下的美德，很增悲叹，应当供给冥钱，申明朕的思旧之情，可在他家设五百僧斋，并为他造天尊像一座。”又命令在凌烟阁上画虞世南的肖像。世南有文集三十卷，太宗令褚亮为集做序。
世南的儿子虞昶，官至工部侍郎。