吕才，博州清平县人。小时候爱好学习，熟读阴阳方技一类书籍。贞观三年(629)，太宗命令祖孝孙修改整理乐曲，祖孝孙却跟懂音乐的王长通、白明达等人各持一说相持不下。太宗命令侍臣重新寻找行家，中书令温彦博推荐吕才，说他聪明智慧多才多艺，没有见过的，没有听过的，看一次听一次，都能弄清其中的奥妙，对音乐尤其善长，请求太宗考核他。侍中王王圭、魏征又大力称赞吕才学识精深，魏征说：“吕才会制作十二支一套的尺八管，它们长短不同，一支对应着十二律中的一个音调，没有不合音律的。”太宗立即招聘吕才，安排在弘文馆供职。太宗曾经阅读周武帝撰写的《三局象经》，不明白里头的意思。太子洗马蔡允恭小时候曾经玩过这种游戏，太宗叫来问他，他也忘记了。于是召见吕才询问。吕才推究了一个晚上，就能画图讲解，蔡允恭一看，回忆起了小时候的玩法，跟吕才讲的正好一样，因此吕才就出了名。一直提升到太常博士。
太宗鉴于《阴阳书》近代以来逐渐加进了一些谬误虚假的东西，牵强附会得厉害，禁忌限制也多，于是命令吕才和十几名专家学者一起对它进行校正，删掉浅薄庸俗的东西，保留有用的内容。撰写成新书五十三卷，删除合并原书为四十七卷，贞观十五年(641)，全书编印成功，太宗诏令发行。吕才多处援引典故评定是非，虽然作为术数研究是个不足，但是非常符合经书的义理，现在简要地选录其中的几篇。
他为宅经篇写的序言说：
“《易经》说：‘远古的人居住在洞穴，生活在野外，后代的圣贤用房屋代替洞穴，大概是从“大壮”到象受到启发。’到了商朝、周朝，就已出现占卜择地定居的文字，所以《诗经》说‘占卜它的阴阳’，《书经》说‘占卜显示只能定居洛邑’，这些就是占卜住宅吉凶，它的来历已很久远了。到了近代的巫师，又增加了把人的姓按五音五行分配，加上吉凶忌讳的‘五姓’说。所说的‘五姓’，叫作宫、商、角、徵、羽，水、火、木、金、土，天下各种事物，全都分配到五音五行之下，从而预测吉凶，把这定为法则。比如张、王等姓分属为商，武、庾等姓分属为羽，想以字的韵母相似相同来推测；而把柳姓分属为宫，把赵姓分属为角，它们在声韵上并不相通。其中也有同一个姓分属宫、商两类的情况，以后还有多字的复姓，又徵、羽相混。用经典检验，本来没有‘五姓’的说法，各种谈阴阳五行的书籍里，也没有‘五姓’的文字，‘五姓’说不过是民间的口传说法，终究没有出处。惟独《堪舆经》记载，黄帝轩辕回答他的臣子天老时，说过‘五姓’的话。而在黄帝时代，只有姬、姜几个姓，到了后代，得到天子赐姓的越来越多。以至像管、蔡、成阝、霍、鲁、卫、毛、聃、郜、雍、曹、滕、毕、原、酆、郇，同是姬姓子孙；孔、殷、宋、华、向、萧、亳、皇甫，同是子姓后代。即使其他赐给的姓，规则都是这样。随着封地官职名称取姓，像树抽枝长叶一样增长，还不知道这样一些姓，怎么划分归属？再查阅一下《春秋》，把陈、卫、秦一同分属水姓，齐、郑、宋一同分属火姓，有的继承最早的祖姓，有的附借隶属的星名，有的采用居住的地名，也不是宫、商、角、徵，一同管辖。这些就是在古籍中找不到根据、道理反常偏邪的学说。”
他为禄命篇写的序言说：
“据《史记》记载，宋忠、贾谊讽刺司马季主说：‘他占卜，就给人家添福加寿来让人高兴，诈称吉凶祸福来骗光人家的钱财。’又据王充的《论衡》说‘：看见骨相就知道寿命祸福，知道寿命祸福就能推想出骨相。’这些就是有关禄命的记载，已经流传很久了。从各个方面推测禄命，有的话总会碰巧说准，人们也就相信。如今来研讨，根据的不是实况记录。但是得到好运，不是靠出生在吉日良辰；遭受灾祸，哪是由于命该遭到劫持杀害。皇天不讲亲疏关系，总是援助有道德的人，作恶行善的报应，像影子伴随形体、回响紧跟声音一样迅速。所以夏桀作恶多端，皇天就消灭他；宋景道德崇高，怪星就避开他。勤学就有俸禄，哪里是出生于‘建学’的时辰？周文王劳苦忧虑减了寿命，跟出生于‘空亡’的凶月没有关系。在长平被秦将白起活埋的赵国四十万兵卒，还没听说他们一样出生于触犯‘驿马三刑’的凶险时辰；南阳的诸葛亮等地位显赫的人物，哪里都是出生在名为‘六合’的吉利日子？历代洪水泛滥，不只是在河魁星当值的凶日；蜀郡烈日炎炎，难道是全郡的人都该遭受皇天降下的火灾？如今也有禄命相同的人，而地位高低却有很大差别；即使是孪生兄弟，寿命的长短也不相同。
“据《春秋》记载，鲁庄公出生于桓公六年(前706)七月。现查阅《长历》，庄公生于乙亥年，建申月。从这个情况看，庄公遇上‘空亡’的恶运。依照禄命书，断定应该贫寒低贱，还触犯名为‘勾绞’的六种凶事，违反名为‘驿马’的三种礼法，在这个时辰出生的人，全都没有官职爵位。七月属火命，出生于‘病乡’年月，体质瘦小虚弱，身材矮小丑陋。可《诗经·齐风·猗嗟》章却讥讽庄公‘器宇何等轩昂，身材何等颀长，眉目何等清秀，步履何等雄壮’。只有‘向命’这条，断定应当长寿。据查《春秋》记载，鲁庄公卒年四十五岁。这是禄命书没有应验的例证之一。
“又据《史记》记载，秦始皇嬴政出生于昭襄王四十八年(前259)，宋忠写的注解说：‘因为是正月出生，就取名叫政。’据查襄王四十八年是壬寅年。这年正月出生的人，命运应当是‘背禄’，断定没有官职爵位，即使得到一官半职，仆从也少。秦始皇又能破‘驿马三刑’，自身能克制‘驿马’，断定盼望做官却得不到；正月属金命，出生于‘绝下’的年月，尽人的责任无头有尾，老年反而更加吉利。现查阅《史记》，秦始皇却是有头无尾，老年反而更加凶险。只是生于‘建命’之时，断定应当长寿，算来他逝世时，年纪没有超过五十岁。这是禄命书没有应验的例证之二。
“又据《汉武故事》记载，武帝刘彻出生于乙酉年(前156)七月七日清晨。也遇上了‘空亡’的恶运，断定没有官职爵位，虽然趋向‘驿马’，但还隔着四个时辰，按照禄命书的推断，年轻时没有官职，年老时才能兴旺，现查阅《汉书》，武帝登位，年龄才十六岁，到他晚年，全国人口减少了一半。这是禄命书没有应验的例证之三。
“又据《后魏书》说：北魏孝文帝元宏出生于献文帝拓跋弘皇兴元年(467)八月。现根据《长历》一书，那是丁未年。照这推断，孝文帝是‘背禄’的命运，并且违背‘驿马三刑’，自身能克制‘驿马’。按照禄命书，断定没有官职爵位，命中注定是遗腹子，出生之时就见不到父亲。现查阅《后魏书》，孝文帝亲自继承了他父亲元显禅让的帝位。礼法规定：继承帝位的长子在父丧之初确定身份，过一年后才正式登基。这是因为皇帝没有了父亲就把朝廷的三老五更当作父兄伺候以表示孝心友爱。孝文帝是接受父亲的禅让，跟一般的礼仪不同，亲自率领天下臣民伺奉自己的父母，但禄命书却说他不会见到父亲。这是禄命没有应验的例证之四。
“又据沈约的《宋书》说：宋高祖刘裕出生于癸亥年三月。按这种情况推断，福禄寿命都遇上了‘空亡’的恶运。按照禄命书，断定没有官职爵位，又因出生于‘子墓’之中，只有正妻生的一个长子，即使有个次子，断定会夭折。现查阅《宋书》，高祖的长子少帝刘义符刚当一年国君就被篡位者杀掉，次子文帝刘义隆却当了三十年国君。高祖又出生于‘祖禄’之下，断定嫡孙会有财富俸禄。现查阅《宋书》，他的孙子刘劭、刘浚一齐被人篡位杀害，差点断送刘宋江山。这是禄命书没有应验的例证之五。”
他为葬书篇写的序言说：
“《易经》说：‘古代安葬，用柴草覆盖死者，不筑坟，不立碑，守孝时间长短不论。后代的圣贤改用两层棺木安葬，是采用“大过”卦的超过常理来拯救患难的意思。’《礼记》说‘：安葬，就是隐藏，想叫人不能看到他。’但是《孝经》说‘：用占卜选择墓地来安葬他。’因为报答父母养育之恩的事已经完毕，就把坟墓作为永远感激怀念的地方；安葬的礼仪已经结束，就把坟墓作为亡灵的永久住宅。朝廷、集市不断变迁，不能对未来进行预测；泉水、山石相互侵蚀，不能预先知道地下的情况。因此想到占卜，希望没有后患，这不过是把父母的丧事办得圆满一些，并没有求吉利避凶险的意义。到近代以来，出现了测阴阳看风水的安葬方法，有的选择一个有利时间，有的计算墓田的远近，一件事情办得不妥，死者活人都要遭殃，巫师就靠这获取财物，没有谁不任意设卡讹诈。于是使得以卜葬为业的，就有一百二十家，各说各的吉凶祸福，限制禁忌很多。再说铺天盖地，关于阴阳的理论非常完备；一刚一柔，消长交替的意义非常详尽。有的在天文历法方面有了成果，有的在生理卫生方面有了心得，日月星辰在天上运行，温热凉寒在地上交替，这才是阴阳理论的正道，片刻不能忘掉。至于丧葬的吉凶祸福，那是附会阴阳学说弄虚作假。
“《左传》说：帝王逝世满七天入殓，满七个月安葬；诸侯去世满五天入殓，满五个月安葬；大夫去世满三个月安葬；士民百姓去世满一个月就可以安葬了。这就是地位高低不同，礼仪规定就不同。这样规定，是想约定俗成，报丧吊丧有个日期，根据日程妥善办事，于是成了固定的制度。礼法一经确定，不能违反。所以提前安葬，叫作不留恋死者；延期不葬，会被指责为失礼。这就是丧葬自有固定日期，不用选择年月，例证之一。
“《春秋》又说：丁巳日，安葬定公，因下雨，不便安葬，推迟到戊午日(第二天)才安葬完毕。记载礼仪的典籍认为妥当。《礼记》说‘占卜安葬时间先挑远的日子’，一般是选月底，是为了避免批评为不留恋死者。现查阅葬书，在己亥这天举行丧葬最不吉利。而据春秋时代的史料记载，己亥这天举行丧葬的共有二十多起。这就是丧葬不用选择日子，例证之二。
“《礼记》又说：‘周代崇尚红色，大事在清晨办理；商代崇尚白色，大事在中午办理；夏代崇尚黑色，大事在黄昏办理。’郑玄注释说：‘大事指什么？指的是丧葬。’这就是直接按照当时风尚决定取舍，不必选择时辰的早晚。《春秋》说，郑国的官员子产和子太叔安葬郑简公，这时司墓大夫家的房屋挡了出丧的路。如果拆掉房屋，清晨棺柩可以入土；不拆房屋，中午才能入土。子产不想拆房屋，要等中午棺柩入土。子太叔说‘：如果中午入土，怕要长时间地辛苦参加葬礼的各国的诸侯大夫。’那么，子产既是大学者，子太叔是为诸侯做抉择，国家大事，没有超过国君丧葬的，如果事关吉凶，拆屋的办法怎能不用？现在却不管时辰当与不当，只谈人情行与不行。《曾子问》说：‘出葬时遇上日蚀，把棺柩搁在路的左边，等到太阳亮了再安葬，是为了防备意外事变。’如果按照葬书，多半选择乾、艮两个时辰，都是接近半夜，这就仪式与礼节互相违背。现查阅《礼记》、《左传》，丧葬不用选择时辰，例证之三。
“《葬书》说，富贵官职，都由安葬获得；寿命长短，也是坟墓造成。但是现在据《孝经》说‘：树立自身，实行仁道，就美名传到后世，让父母受到赞扬。’《易经》说‘：圣人最宝贵的东西是身份地位，保持身份地位的办法是仁道。’因此一天比一天谨慎，就永远保持禄位，如果不建立德行，就没有后代，这就不是从安葬的吉凶来谈福寿的长短。鲁孝公的后代臧孙氏子孙相传，跟安葬的日期是否吉利无关；楚君若敖氏的全族被父亲熊鄂杀绝，不是由于父母迁葬的墓地不好。这就是安葬的吉凶理论不能相信运用，理由之四。
“如今判断丧葬吉凶，都照‘五姓’说的便宜。古代安葬，都在都城的北边，墓地已有固定的处所，哪有以‘五姓’说择定墓地的礼仪？赵国安葬贵族，都在九原；汉代帝王的陵墓，分葬在各地。高处还是低处吉利，谈都不谈；坟墓是大还是小好，那有什么意义？后来子子孙孙总是富贵，有的跟夏商周三代风格相同，有的分立六国而称君主。这就说明‘五姓’说法，完全没有历史依据；吉凶的道理，从哪儿产生？理由之五。
“再说作为人臣的名望地位，升降怎能固定不变，有的开始卑贱后来尊贵，也有的开始顺利结果困顿。因此楚国的子文三次被免去令尹官职，鲁国的展禽三次被罢黜士师的职务。占卜择地一经定下，就不能更改；坟墓筑成之后，完全不能变动，那么为何名望地位没有一个短暂的稳定时间？所以知道加官晋爵在于人的努力，不是由安葬招致的，理由之六。
“民间的凡夫俗子没有知识，都信葬书，巫师诈称懂得丧葬吉凶，愚人想靠这获利免灾。于是使得人们在极度悲痛的时刻，选择安葬场地希望得到官职；在横遭残害的年月，选择安葬时间图谋钱财利禄。有的说这个时辰不应哭泣，就微笑着接受来宾的哀悼慰问；有的说亲属禁忌到墓地，就穿喜庆的服装不为亲人送葬。圣贤设置礼教，难道是这样吗？葬书伤风败俗，竟然到了这种地步，理由之七。”
太宗又叫吕才绘制《方域图》和《教飞骑战阵图》，都合太宗的心意，提升为太常丞。高宗永徽初年，参加编写《文思博要》和《姓氏录》。显庆年间，高宗由于古琴曲谱中有一首《白雪》，近代失传，委派他对原有曲谱进行充实润色。吕才汇报说“：我根据《礼记》和《家语》的记载，虞舜弹奏五弦琴，唱《南风》歌，就知道用琴弹奏乐曲，都要配上歌唱。又据张华的《博物志》说：《白雪》是天帝让素女弹奏五十弦瑟的乐曲名称。又据楚国大夫宋玉对襄王说，有一个外地人在郢都唱《阳春白雪》，城里应和的只有几十个人。这就知道《白雪》这支古琴乐曲，本来应该配合歌唱，由于它格调高雅，应和的人就少。自宋玉以来，至今上千年了，还没有能唱《白雪》这首歌曲的。我遵从皇上的命令，按照演奏的原曲，确定宫商音调，然后教授排练，同时配上了歌唱，特用皇上的《雪诗》作为《白雪》曲的歌词。并且根据古今乐府民歌的手法，演唱一段正曲之后，都合唱一首别的歌词，以君主的歌词领唱，以臣子的歌词合唱，展现前代的历史风貌。现在采用太尉长孙无忌、仆射于志宁、侍中许敬宗等人的《奉和雪诗》作为合唱歌词，共十六段，已全部教授排练完毕，并且都还和谐。”高宗特别高兴，又写出《白雪歌词》十六首，交给吕才编进了乐章。
当时右监门长史苏敬进言，陶弘景编著的《本草》，存在不少差错。诏令中书令许敬宗和吕才以及李淳风、礼部郎中孔志约，会同各位著名医生，对原书进行改写，仍旧命令司空李责力主持修订，连插图合成五十四卷，当时大量传布。
吕才于高宗龙朔年间任太子司更大夫。麟德二年(665)去世。著作《隋记》二十卷，当时颇为流传。
儿子吕方毅，七岁时能朗读《周易》、《诗经》，太宗听说他小小年纪非常聪敏，召见他，对他感到奇特，赏赐给他写字用的绢帛。后来任右卫铠曹参军。母亲去世，他悲痛过度，竟然哀伤而死。白色丧车载着他的遗体，随着他母亲的丧车出葬。他的朋友郎余令用白粥、水酒，一把青草，在路边祭奠，人们非常悲伤惋惜。