刘温叟字永龄，河南洛阳人。为人厚重方正，举动遵循礼法。是唐朝武德功臣刘政会的后代。其叔祖刘崇望，任唐昭宗的宰相。其父刘岳，任后唐太常卿。温叟七岁就能写文章，擅长楷书、隶书书法。刘岳退居洛中时，对家人说：“我的儿子风骨秀异，不能预知的只是寿命长短罢了，当今世道混乱，我儿能够与我都成为温、洛之间的老叟则足矣。”所以给他取名为温叟。因祖辈功劳补任国子四门助教、河南府文学。清泰年间，任左拾遗、内供奉。因母亲年老请求归家养老，改任监察御史，分府视事。当时台署废弛，温叟加以革新。不久，召他入朝任右补阙。
后晋初年，王松权任知青州，上表推荐他任判官，加任朝散官。入朝任主客员外郎。后晋少帝任开封府尹时，上奏推荐他为巡官，命令他掌管文翰，又改任广晋府巡官。少帝即皇帝位后，授任他为刑部郎中，赐金紫朝衣。改任都官郎中，充任翰林学士。当初，刘岳在后唐任职，曾经官居内署，到这时温叟又任此职，当时人都感到刘家很荣幸。温叟受命后，回家为母亲祝寿，在堂下站着等候。不久听见音乐声，两个青衣人举箱走出庭堂，向温叟献上紫袍、缣衣，他的母亲命卷开帘帷见温叟说“：这是你父亲在宫中时内库赏赐的。”温叟跪拜接受时泪如雨下，退到开影堂列祭时，用文章告祭。他的母亲伤感了好几天，不忍心见温叟。一年后，加任知制诰。
契丹军队攻入汴京，温叟畏惧，跟随契丹兵迁到北边，与承旨张允共同上表请求解除职务。契丹主大怒，打算把张允等人调出京城任县令。赵延寿说“：如果学士才能不称职请求解职者，可以仍任本官，不能贬出。”于是得以罢免职务出翰林院。后汉高祖南下时，温叟从洛阳跟从到郑州后，称病不行。进入汴京后，温叟很迟才到来，授任他为驾部郎中。
后周初期，任左谏议大夫。一年后，改任中书舍人，加任史馆修撰，判馆事。显德初年(954)，升任礼部侍郎、知贡举，录取进士十六名。有人向皇帝诬陷他们，皇帝发怒，斥除其中十二人，把温叟贬任为太子詹事。温叟实际上并无私心，后来几年，被斥除的人相继考中。温叟与张昭共同修撰后汉隐帝及周太祖实录，恭帝即位，升任他为工部侍郎兼判国子祭酒事。
宋朝初期，改任刑部侍郎。建隆元年(960)，任御史中丞。遭母丧，退居西洛，不久恢复本官。建隆三年，兼任判吏部铨。于是向皇上进言说“：我见两京各部门，慢慢缺乏旧臣，大多毁掉旧制。虽然检阅时旧制仍存在于以往的典籍，但是行动必须在主管部门。因年限已满应得官，到吏部时照例要减选；冬季集中赴调，授官者不久又出京城。还有人初官满期被裁，不回到原来的官署，只声称前任官职，以图免除赋役。又有人曾经因故停任，急欲回到吏部，而又不具备元敕，无法复职。于是使得在任者失于教习，管事者难于追还。我希望从今以后各部门的任务，授官留任及回吏部待职的，按例减免外官欠任三选以下的，仍然须吏部执行公事，到三十个月后就允许赴吏部集中，按理减免外官欠任三选以下的，以及在任没有通过考核的，就按照元敕处理。如果是在任停官以及在有关部门停职的，经恩准后由刑部出给雪牒，勒令到吏部报到，如果没有空缺，就让他候缺，其余的依照敕令处理。”
一天晚上回家从宫前走过，太祖正与中黄门数人偶然登明德门西楼，温叟的前导人员偷偷地知道了，告诉他。温叟下令像平常过皇宫那样传呼。第二天朝见时，温叟说：“人主登楼非时，则近臣都希望得到宽恕，护卫诸军也希望得到赏赐。我之所以呵道而过，是想向人暗示你不是时候不会登楼啊。”太祖认为他做的对。御史府旧例，每月赏给公用茶、御史中丞得钱一万，公用不足就以罚款补充。温叟厌恶罚款之名而不取用。任台丞十二年，多次求人自代。太祖难找合适人选，不允许。开宝四年染病，太祖知道他贫穷，到他家里赏赐器币，几个月后去世，终年六十三岁。
温叟侍候继母孝顺闻名，即使是大热天不戴帽穿衣不敢相见。五代以来，说到遵从礼法的只有温叟，在朝任官时有德望，精于鉴赏，门生中尤其器重杨徽之、赵邻几，后来二人都成为名士。范杲年轻时，曾经拿文章拜见温叟，温叟大为称赞他，并把女儿嫁给他。
太宗在任晋王时，听说他清介，派人送给他钱五百千，温叟接受下来，存放在厅西舍房中，命令府吏封署后离去。第二年重午节，又派人送去角黍、执扇，所派的人正好是去年送钱的人，看见西舍封记还在，回来后告诉太宗。太宗说：“我的钱他尚且不用，何况是他人的钱？从前接受下来，是不想拒绝我；现在过了一年还不启封，他的清节越是明显。”命令官吏把所送物品载回。这年秋天，太宗在后苑侍奉太祖用宴，在谈论当世有名的清节之士时，详细讲述了刘温叟以前的事情，太祖再三叹赏。
雍熙初年，他的儿子刘癤被罢免徐州观察推官待选，因为家贫到朝廷请求注官。到引对皇上时，太宗问他是谁的儿子，刘癤回答是温叟。太宗很悲伤，召宰相来谈他的事，并且说当今大臣很少能与他家相比。于是问他“：癤应得任什么官？”宰相说“：免除待选作为厚恩。”太宗说“：他的父亲有清操，录用他的儿子入朝做官，来表示劝勉。”提升癤为太子右赞善大夫，历任判三司理欠、凭由司、江南转运司，入朝任司封郎中。温叟的另两个儿子刘炳、刘烨都考中进士。