吕祖谦，字伯恭，是尚书右丞吕好问的孙子。从他祖父时候起，其家便居住在婺州。吕家向为书香门第，藏书甚丰，这就给吕祖谦小时候的启蒙教育及后来从事学问研究提供了极为便利的条件。成人后，吕祖谦与林之奇、汪应辰、胡宪等人交往密切。并与张木式、朱熹等理学名流成为好友。他们在一起相互探讨，切磋理学有关问题。学问做得既深又细。
起初，吕祖谦受父荫进入仕途，后来通过自己的努力考取进士，中的是博学宏词科，遂调南外宗教，服母丧期间，吕祖谦住在明抬山上，由于他有名声，所以许多名士、学子都前去向他求教、问学。不久，吕祖谦被授为太学博士，当时中都官在等待引见皇上、正式赴任前按规定补外，遂以添差官的身份教授严州，旋又被朝廷召为博士兼国史院编修官、实录院检讨官。在任职期间，他曾建议皇帝留意圣学，并说：“要恢复大业，应当定规模，审方略。陛下方广揽豪杰，共集事功，我愿精加考察，将政策方略拟定好，并分清主次，排定先后，使那些侥幸之言无立足之地，然后与一、二位大臣商定后分别奏呈皇上，颁布实行。这样一来，就可伸大义，复大业了。”
吕祖谦被召试馆职。召试前，许多人到学士院打听题目，独吕祖谦不以为然。但召试结果，吕祖谦的章特别典雅优美。吕祖谦曾经读过陆九渊的文章，且非常喜欢，但并不认识这位后生，在负责礼部考试的时候，吕祖谦阅鉴一份答卷后说“：这肯定是江西小陆的文章。”揭开弥封一看，果如其言。人们因此都赞叹吕祖谦有精湛的鉴别才能。父亲死后，免丧，主管台州崇道观。
过了三年，吕祖谦外任秘书郎、国史院编修官、实录院检讨官。因为修撰李焘的推荐，吕祖谦得以参与重修《徽宗实录》的工作。书成后，品级又得以晋升。吕祖谦在接受皇帝咨询时说：“治道体统，只有上下内外不相侵夺才可以安定。以往，陛下往往因不相信大臣而兼管大臣之职，大臣无事可做，只得做一些本来该属下做的细务琐事。这样层层相因，至监司、守令莫不如此。都因自己的职权被上司侵夺而不能有效地命令部下。由此就产生这样一个结果：豪猾之人玩弄官府，郡县忽视省部，属吏欺凌上司，贱人轻视权臣。这种现象在平常可能看不出它的弊端，一旦出现危急情况，由谁来行使指挥之权呢？如果说臣下权任太重，可能会产生私心私欲，那么陛下可以在经济上加以控制，可以用台谏之官加以弹劾，并且可以随时派侍从加以探询监视。如此，则即便有那种心术不正之人，他也不能专横弄权。陛下又何必屈尊以代大臣之劳呢？人的关节脉络如有阻塞就会生病，陛下虽然日理万机，操劳不已，如果不注意这个问题，则势必造成声势浸长，趋附浸多，过咎浸积的状况。大臣一方面因惧怕为皇帝所责而隐瞒事实，一方面因怕舆论所指而相互推诿诋毁排斥。愿陛下虚心以求天下之士，抓住要点管好大政方针，不要因任人失误而以为人多可疑，不要自认聪明过人就足以偏察于人，不要详于小事而忘远大之计，不要忽视近佞而忘了壅蔽的萌生。”
吕祖谦还说：“国朝治体，有些是比前代高明的，有些是前代所不具备的。比如说以宽大忠厚建立规模，以礼逊节义成就风俗，就是胜过前代的。因此，在经过了民族危难之后，驻守东南逾五十年，而没有丝毫担忧。但是，在文治可观的喜人景象下面，却又存在着武绩未振的事实。名胜相望而方略未优，这在盛平之时业已显现出隐忧。当初西夏元昊发难，范仲淹、韩琦是众望所归的人物，但最终仍没有解除忧患，由此可以想见要成事建功是多么不容易。我认为，当今政治，对于那些前代未解决的问题，要激励而振起。对于高于前代的东西，更要特别加以爱护和扶持。”
吕祖谦升著作郎后，因病请辞归。这之前，书肆有书曰《圣宋文海》，孝宗命临安府将此书校正后刊行。但学士周必大认为该书取舍不当，错误较多，恐难传世，请委馆职重新铨释，以成一代之书。孝宗因而命吕祖谦负责这项工作。吕祖谦将此书断自中兴以前，崇雅黜浮，分门别类编为一百五十卷。书呈皇帝后，被赐名为《皇朝文鉴》。
吕祖谦受诏升直秘书阁。当时很重职名，不是有功之人不能升任，所以中书舍人陈揆不同意起草诏书。孝宗批旨说“：馆阁之职，文史为先，祖谦所进之书，取舍精当，有益治道，因此特受朕之器重，应当马上起草任命诏书。”陈揆不得已照办。不久，吕祖谦主管冲佑观。又过一年，升为著作郎兼国史院编修官。去世，终年四十五岁。谥号“成”。
吕祖谦承继张载、二程之学，但能旁征博引。平生心平气和，不标新立异，一时间，许多杰出人士皆对其心悦诚服。小时候，性情较为急躁，有一天，当谈到孔子言“躬自厚而薄责于人”时，忽然觉得平时那种急躁之情涣然冰释了。朱熹为此曾说：“如果能像吕祖谦那样学习，就能改变自己的气质之性。”吕祖谦主张学以致用，反对空谈性理，患病后，其任重道远之意不衰。其居家之政，可成为后世楷模。他修《读诗记》、《大事记》，皆未成书。但他考定《古周易》、《书说》、《阃范》、《官箴》、《辨志录》、《欧阳公本末》，皆行于世。吕祖谦晚年会友之地曰“丽泽书院”，在金华城中。去世后，郡人于此为他建了祠堂。吕祖谦有子名延年。