刘穆之字道和，小字道人，东莞莒县人，世代住在京口。开始做琅笽府主簿，曾经梦见和宋武帝在海里泛舟遇到大风，惊慌地俯视船下，见到有两条白龙保护着船。随后到了一座山下，山峰秀丽高耸，心里十分高兴。
后来武帝攻克了京城，向何无忌征求一名府主簿，何无忌推荐刘穆之。武帝说：“我也认识他。”于是派人驰马去召他。当时刘穆之听到京城有叫声，早晨走到路边，正好与派来的使者相会，穆之直直地看着，久久没有说话，然后返回房中，毁掉布裙做成裤子，前去见武帝，武帝对他说：“我刚刚开创正义的大业，急迫地需要一位军吏，谁是合适的人选？”刘穆之说：“没有能超过我的。”武帝笑着说：“卿如果能屈尊就任，我的事业就成功了。”于是就在座位上受聘。跟随平定建邺，各项大事的处理，都是很快确定，全是刘穆之的建树，于是便经常受到武帝的咨询。刘穆之也竭尽忠诚，没有什么遗漏。
当时晋朝的法制松弛，禁令不能实行，大族豪家，依势横行；更加上司马元显政令谬误，桓玄律条繁密。刘穆之根据实际研讨对策，随着地方特点加以矫正，不满十天，风俗顿改。
调任尚书祠部郎，又重任府主簿、记室、录事参军，兼堂邑太守。因为平定桓玄的功劳，封西华县五等子。等扬州刺史王谧死后，武帝按次序应该入朝辅政。刘毅等人不想让武帝入辅。提议以中领军谢混为扬州刺史，有人想让武帝在丹徒领州，把朝内的事交给孟昶。派尚书右丞皮沈拿这两种提议去问武帝。皮沈先对刘穆之说了，刘穆之假装上厕所，便秘密地写信告诉了武帝，说皮沈的话不可听从。武帝见了皮沈后，让他暂且出去，叫来刘穆之询问。刘穆之说：“您今天怎么还能谦虚，以致变成守卫藩镇的军将呢？刘、孟诸公都是由平民起家，共同创立大业，事情都是一时互相推戴，并不是命中注定的君臣名分。势均力敌，最终要互相吞并。扬州关系着国家的根本，不可以送给别人。先前授给王谧，事情是出于机变的考虑，现在如果再授给别人，便要受制于别人。一旦失去权柄，便没有机会再得到了。您功劳高勋业重，不可以只是令人怀疑畏惧，应该是入朝共同弄清同异。您到了京城，他们必定不敢越过您另外授给别人。”武帝听从了他的话，由此便入朝辅政。
从广固回来抵抗卢循，他常常在军幕中策划。刘毅等人很妒忌他，常常很从容地说他的权力过重，武帝则越发信赖和倚仗他。刘穆之在外面的所见所闻，大小事情一定要报告，即使是街巷中的言谈谑笑，也都挑出一两个来说给他听。武帝常常说起社会上曲折秘密的消息来显示耳目灵通，都是从刘穆之那里来的。他又喜欢与宾客交游，客人总是满座，他安排耳目进行观察和听取，所以朝野间的人事关系，刘穆之无不知晓。即使是亲密朋友的长短之处，他都上奏给武帝，无所保留。有人因此讥笑他，刘穆之说：“我受了主公恩惠，为了大义无所隐晦，这也就是张辽所以要告关羽想叛逃的原因。”
武帝的举止作为，刘穆之都私下进行规劝，武帝的书法一向很差，刘穆之说：“这虽然是件小事，但却会传布得很远，希望您再稍加注意。”武帝还是不能留意，他又有责任提醒，刘穆之就说：“您只管放开笔写大字，一个字一尺见方也不要紧。大就包含了各个方面，笔势也美观。”武帝听从了，一张纸不过写六七个字就满了。
刘穆之凡是自己所荐举的人，不纳用便不罢休。他常常说：“我虽然比不上荀令君的举荐必是善才，但是却可以不荐不善之才。”刘穆之和朱龄石都善于写作书信，曾经在武帝那里和朱龄石一齐写答复信，从早晨到中午，刘穆之写了一百封，朱龄石写了八十封，而刘穆之的应对没有废品。
后来升迁为中军、太尉司马，担任丹陽尹。武帝向西方去讨伐刘毅，让诸葛长人监管留府，怀疑他难以独自担当，留下刘穆之辅助他。担任建威将军，设置辅佐官吏，配备给实力。诸葛长人果然有异谋，而犹豫不能起事，便回避开别人对刘穆之说：“流言纷纭，说太尉和我不和，怎么会有这样的议论？”刘穆之说：“太尉溯江远征，把老母弱子委托给将军，如果有一点不信任，哪里能会这样？”诸葛长人心里才稍微安定一些，刘穆之也充分加以防备。诸葛长人对他所亲近的人说：“贫贱常常想要富贵，富贵必定遇到危机。今天再想做丹徒的百姓，已经无法实现了。”武帝回来，诸葛长人被处死。刘穆之晋升为前将军。
武帝西进讨伐司马休之，中军将军刘道怜担当留任，而事无大小，都由刘穆之决定。他升迁为尚书右仆射，兼管选拔人才，将军、丹陽尹的职务仍旧不变。武帝北伐，留下世子为中军将军、监太尉留府。调刘穆之担任左仆射、兼任监军中军二府军司，将军、丹陽尹、主管选举依旧保留，可以带卫士五十人进殿，进入东城居住。
刘穆之对内总理朝政，对外供应军队需求，决断如流，事情毫无阻塞。宾客聚集，求诉极多，朝内外的咨询禀报，台阶房内人都站满。眼看讼词，手答来信，耳听诉说，口作应酬，不相混淆，都能做好。又言谈欢笑，整天到晚，不曾疲倦困苦。刚有点闲暇，又动手写书，翻看文章，校订古籍。他性格奢侈豪华，吃饭必须十分丰盛，早晨就要做十个人的饭，不曾一个人单独吃。每到吃饭的时候，客人如果只在十人以内，帐中仍然依照平时做饭，以此为平常。他曾对武帝说：“穆之家本来贫贱，养生的东西大多缺乏，任职以来，虽然常常注意节约，而每天所需用的东西，稍微有些过于丰盛，此外没有丝毫辜负您的地方。”
义熙十三年(417)去世。武帝住在长安，本来打算驻扎在关中，经营赵、魏一带，闻讯以后，十分惊讶和悲痛，哀痛惋惜了好几天。因为身体虚弱，便回到了彭城。让司马徐羡之代管留台，而常常由刘穆之决定的朝廷大事，全都向北府咨询，刘穆之的前军府有文武二万人，以三千人配给徐羡之的建威府，其余的都配给世子的中军府。追赠刘穆之开府仪同三司。武帝又上表给天子说：“臣听说崇扬贤人、旌表善者，是王者教化的首要事情，怀念功劳，对不忘忠良意义深远。所以司勋执掌档案，勤苦者必有记录，道德美善旺盛，人死后更加显明。所以尚书左仆射、前将军大臣刘穆之，起自平民家庭，辅佐大业开创，对内竭尽谋划，对外勤于政务，为了国家勤勉努力，精神体力都已用尽。后来进入朝廷工作，主管京城近郊，百业广兴，革新大计。不久前大军远征，刘穆之留守捍卫，安抚之功，造福朝野，他的见识度量，确是栋梁之材。正当宣扬盛化，发展圣世，忠义功绩，未能完成，不幸逝世，远近痛悼。皇恩给予嘉奖，丧仪等同三公，哀荣具备，英灵安祥。臣心中寻思，自从义熙年间草创大业，艰难未消，外患既多，内忧相继，时事混乱，不得安宁。臣下德才贫乏，身负国家重任，实在是靠穆之辅助的功益。不仅是正直的言论、良好的谋略不断提供，而且忠诚的规劝、机密的筹划暗中达成，私下的拉拢、诡诈的言词从不参与。未曾报告朝廷的事迹，群众尚不知道的功劳，不可胜数。因此我努力十二年，有所成就，外出征讨入朝辅政，有幸不辱使命。如果没有身边人士的协助，是不可能顺利完成任务的。谦虚工作，不讲条件，恪尽职守，每当议论到封赏爵位，就自己坚决拒绝。因此当年功勋很大，而王侯未封，他的事迹永远让人怀念，怎么可以掩藏？想来应该加封官爵，追赐土地。使忠臣的功业，不会在身后泯灭，重赏的影响，永远地鼓励善人。臣对他的聚合离散、艰难顺利，全部了解，密友分别，情义深厚，所以呈献自己的情怀，使朝廷得以听到。”于是重赠刘穆之为侍中、司徒，封为南昌县侯。
后来武帝接受了禅让，常常叹息并怀念他，说：“穆之不死，一定会帮助我治理天下。真的是‘人之云亡，邦国殄瘁’。”光禄大夫范泰回答说：“圣主在上，精英满朝，刘穆之虽然建立功勋十分艰难，但是未必便与兴衰有关。”武帝笑着说：“你没听说过骥马录这两种骏马吗，它的可贵就在于可以日行千里。”武帝后来又说：“穆之死了，人们会把我看轻的。”他竟是如此地思念他。因为是辅佐接受帝位的元勋，追封为南康郡公，谥号为文宣。
刘穆之年少的时候，家里贫穷而不肯节俭，喜欢酒食，不加约束。他好往妻子的哥哥那里去讨饭吃，多次受到羞辱，却不以为耻。他的妻子是江嗣的女儿，十分明达识理，常常禁止他不让往江氏家去。后来有庆贺宴会，嘱咐他不要过来。刘穆之还是前往，吃过饭后又要槟榔。江氏兄弟戏弄他说：“槟榔消食，而您却常常饥饿，怎么忽然需要这种东西呢？”他的妻子又割下头发买来酒和菜肴，让她的兄弟来招待刘穆之，从此不再对刘穆之梳洗打扮。后来刘穆之担任了丹陽尹，将要把妻子的兄弟招来，妻子哭着以头触地跪拜致谢。刘穆之说：“本来就没有怀恨，用不着忧虑。”等他们吃饱喝醉，刘穆之就让厨师用金盘子盛了一斛槟榔送给他们。
元嘉二十五年，皇上的车驾视察江宁，经过刘穆之的墓，诏令在他的墓前进行祭祀。