卢潜，范陽涿地人氏。祖尚之，魏济州刺史。父文符，通直侍郎。潜容貌魁伟，善于言辞，少年时便有成人的志尚。仪同贺拔胜辟为开府行参军，补侍御史。世宗推举为大将军西阁祭酒，转中外府中兵参军，办事干练，被世宗看重，说他可以成就大业。在颍川俘虏的王思政，世宗很是推崇这个人的才识。潜曾对世宗说：“思政不能为其朝廷死节，哪里值得推重？”世宗对左右的侍臣们说：“我有卢潜，就是又得到了一个王思政。”天保初，除中书舍人，因奏事不合帝旨而被免职。不久除左民郎中。讥议《魏书》，与王松林、李庶等一同遭到拘禁。适逢清河王岳准备援救江陵，特赦潜为岳的行台郎。军还，迁中书侍郎，不久，任黄门侍郎。黄门郑子默上奏，说潜随同清河王南征，清河王令潜游说梁朝将领侯調，大受贿赂，回朝后也不奏报。听奏后，显祖杖击潜一百，剪掉了他的胡须，降职魏尹丞。很快除司州别驾，出为江州刺史。所在州郡，均有治迹。
肃宗作相，任潜为扬州道行台左丞。先是梁将王琳被陈兵打败，护送其主萧庄返回寿陽，朝廷拜琳为扬州刺史，敕潜与琳一道筹谋南讨计划。琳的部曲义故多在扬州，与陈地邻接。潜安抚和睦内外，使得边境甚是安宁。陈朝秦、谯二州刺史王奉国、合州刺史周令珍先后寇扰边地，潜赶走了他们，因功加散骑常侍，食彭城郡干，迁合州刺史，其左丞职依旧保留。又除行台尚书，寻授仪同三司。王琳一心图南，潜认为时机没有成熟。恰好陈派人送信来到寿陽，请与齐朝和好。潜将此事上报朝廷，还请求息兵宁边。朝廷批准了他的要求。于是与琳闹开了矛盾，互相交替着不断上书皇帝。世祖召琳入京，除潜扬州刺史，领行台尚书。
潜在淮南十三年，任用军民，大树业绩，使得陈人十分畏惮。陈主给其边将写信说：“卢潜仍在寿陽，听说还不能返北，此虏不死，是我们的祸患，你们应该对他严加防范。”显祖始平淮南，给其十年优抚。期满之后，也就是天统、武平中，税额繁重，名目杂多。高元海执政，又断禁渔猎，贫寒之家无法生活。胡商负担官债利息，宦官陈德信怂恿他们全部推卸给淮南的富豪之家，令州县向这些人家索债。又敕送突厥马数千匹来到扬州境内，令土豪们收买。钱收入官府后，又出敕搜刮江、淮间的马匹，全部送进官厩。因此百姓不安，切齿嗟怨。潜则想法慰抚，兼行威逼，所以才获宁静。
武平三年(572)，征为五兵尚书。因为潜戒酒断肉，信仰释氏，扬州吏民大设僧会，用香花装饰道路，流着眼泪为他送别。潜十分感叹，说：“过些日子，我大概会再来的。”抵邺城没有多长时间，陈将吴明彻渡江侵掠，朝廷又拜潜为扬州道行台尚书。五年，与王琳等人一同被陈俘虏。很快就死在了建业，时年五十七岁。其家用钱将尸体买回，葬入祖茔。赠开府仪同三司、尚书右仆射、兖州刺史。无子，以弟士邃、子元孝为继嗣。
士邃，字子淹，年轻时即得崔昂推重，昂评论说：“这几位的确是后生中的俊杰，遗憾的是都不读书。”历职侍御史、司徒祭酒、尚书郎、邺县令、尚书左右丞、吏部郎中，出任中山太守，带定州长史。齐亡国后卒。
潜从祖兄怀仁，字子友，魏司徒司马道将之子。怀仁博学有文辞，性情恬淡，清静有闲放的志趣。历职太尉记室、弘农郡太守，未赴任，卜居在陈留界。撰有诗赋铭颂二万余言，还撰《中表实录》二十卷。怀仁行为谨慎，善于与人交往，同琅笽王衍、陇西李寿之情好义笃。他曾对王衍说：“古时太丘道广，许召力知晓而不荐举；嵇生懒惰，钟会拜访而无评语。我处在季、孟之间，但去掉了泰甚。”王衍认为他说得对。武平末年死。
怀仁兄子庄之，年轻时有名望。历官太子舍人、定州别驾、东平太守。武平中任都水使者，卒于官位。
怀仁从父弟昌衡，魏尚书左仆射道虔之子。武平末为尚书郎。昌衡稳静有才识，风度翩翩，容止可观。天保中，诸弟还保持着这一传统，尚书王昕因雅谈得罪，从此之后，此道遂绝。昌衡与顿丘李若、彭城刘泰珉、河南陆彦师、陇西辛德源、太原王修同为后进风流之士。
昌衡从父弟思道，魏处士道亮之子，神情俊发，年轻时因才学而获盛名。武平末，为黄门侍郎，待诏文林馆。
思道从父兄正达、正思、正山，魏右光禄大夫道约之子。正达为尚书郎，正思为北徐州刺史、太子詹事、仪同三司，正山为永昌郡太守。兄弟因为是皇后的舅舅，武平时同得优赠。
正山子公顺，早以文学为世人所知。武平中官为符玺郎，待诏文林馆。与博陵崔君洽、陇西李师上同志友善，从驾前往晋陽，寄居佛寺，朝士称之为“康寺三少”，被时论推许。
正达从父弟熙裕，父道舒。长兄道将转让爵位，因此熙裕袭爵固安伯。淡泊守道，有古儒的风度，深受亲戚朋友的尊重。
潜从祖兄孙心之，魏尚书义僖之子。清静寡欲，卒于司徒记室参军位上。