李芾字叔章，他的祖先是广平人，中间迁居汴京。高祖父李升进士起家，任官吏享有廉洁的声名。靖康年中，金人攻破汴京，用刀逼迫他的父亲，李升前去保护父亲，与父亲都死去。曾祖父李椿把家迁到衡州，于是成为衡州人。
李芾生下来就聪明敏悟，从小自己树立，把他的书斋取名叫“无暴弃”。魏了翁一见到他就以礼相待，认为他有祖风，改书斋的名字叫“肯斋”。开始以恩荫补南安司户，征辟为祁阳县尉，出来赈济灾荒，就有政声。代理祁阳县令，该县大治，征召为湖南安抚司幕僚官。当时盗贼起自永州，朝廷予以招抚，一年多没有攻克。李芾与参议邓炯提调一千三百人攻破其巢穴，擒获贼人首领蒋时选父子返回，其余党徒于是平息。兼理湘潭县，县多大家巨族，前任县令束手无策不敢冒犯，李芾考核户籍出查赋税，不避权贵势要，赋税徭役大大平均。
进入朝廷，差任德清知县。适值浙西发生饥荒，李芾设置保伍赈济百姓，救活的人数以万计。迁任主管酒库所。德清有妖人煽动百姓作乱，百姓蜂起依附，达到几万人，朝廷派遣李芾讨伐，盗贼听说李芾来到，众人立即溃散回家。被任为司农寺丞，历知永州，有惠政，永州人祭祀他。以浙东提刑的身份知温州。温州濒临大海，多强盗出没，李芾到州盗匪平息，于是以浙东提刑移任浙西提刑。当时浙西也多盗匪，诸巢穴在太湖中，李芾追寻踪迹得知他们的出没之所，于是逮捕他们，盗匪也惊骇散离。建造虎丘书院以祭祀尹火享，设置学官，亲自制订学规来教育学生，来学习的人很盛。
咸淳元年(1265)，李芾入官为临安知府。当时贾似道当权，前方官事无论大小首先禀告才能实行，李芾独无所禀问。福王府有逼迫他人致死的，贾似道极力为之营救，李芾写信往复辩论，终于把凶手置之于法。李芾曾出去巡视火器具，百姓有人不制作火具，李芾询问什么原因，说：“是贾似道的家人。”李芾立即对这人施以杖刑。贾似道大怒，指使台谏大臣黄万石诬陷他犯有贪赃罪，罢免了他的官职。
北军攻取鄂州，才起任湖南提刑。当时郡县强盗扰乱，李芾命令所部发动民兵自卫，每县给予一面黑色旗帜，下令说“：作乱的人斩杀在旗帜下。”百姓才安定。于是号召派遣军队，挑选壮士三千人，使乡里豪强尹奋忠率领救援朝廷，另外招募民兵集中在衡州做防御的准备。没有多久，贾似道在芜湖兵溃，于是恢复李芾的官职，知潭州兼湖南安抚使。当时湖北州郡都已经归附北兵，李芾的朋友劝他不要去，说：“没有办法，就单人前往就行了。”李芾哭泣说“：我难道贪于为自己计议吗？只因世代受到国家的恩惠，即使是在被废弃期间我还想着如何报国，今天侥幸任用我，我以家许国了。”当时他的爱女死了，李芾痛哭一场而出发。
德..元年(1275)七月，到潭州，潭州军队被调走将尽，敌人游骑已进入湘阴、益阳诸县，李芾急急忙忙招募了不满三千人的军队，又结交溪峒蛮作为声援，修缮器械，储备粮草，在江中植立栅栏修筑营垒，命令刘孝忠统领各军。吴继明从湖北来到，陈义、陈元从戍守巴蜀回来，李芾奏请留下他们戍守潭州，推许诚心任用他们，都得到他们的拼死效力。
大元右丞阿里海牙已攻克江陵，分军戍守常德遏制诸溪峒蛮，而以大兵进入潭州。李芾派遣将领於兴率兵在湘阴抵御，於兴战死。九月，又调遣吴继明出城抵御，军队来不及出发，而元大军已经包围潭州城。李芾意气激昂登上城墙，与诸将分地守御，百姓不管老弱也都出来，结成军保协助作战，没有命令而自动集合起来。十月，元兵攻打西边营垒，刘孝忠等人奋力战斗，李芾冒着箭石亲自督战。城中箭用完了，有旧箭都是箭羽坏了，李芾命令收集民间羽扇，箭羽立即备办。又苦于没有盐吃，李芾取出府库中的积盐席，焚烧提取盐供给。有受伤的，李芾亲自抚问慰劳，每天用忠义勉励他的将士。死伤的人杂乱众多，人们还是含忍血泪登城殊死战斗。有来招降的人，李芾把他杀掉来对人宣示。
十二月，州城围困日益危急，刘孝忠被炮击中，瘫痪不能起身，诸将哭泣请求说“：事情已危急了，我们为国而死是可以的，但百姓怎么办？”李芾骂说：“国家平时之所以厚禄善待你们，是为了今天要你们报国。你们但死死守住，以后有说此话的我先杀了你们。”年三十之夜，元兵登上城楼，刚打退，旋即元兵像蚂蚁一样附墙而登，衡州太守尹..及其家人自焚，李芾命令把酒洒在地上表示祭奠。因而留下宾客佐僚一起饮酒，晚上传令，还亲自书写“尽忠”字样作为号召，饮酒一直到天亮，诸宾客佐僚出来，参议杨震投花园水池而死。李芾坐在熊湘阁召来部下沈忠，赠金子给他说：“我力量已尽，职分当死，我的家人也不可以被俘侮辱，你全部把他们杀掉，然后杀死我。”沈忠伏地叩头，推辞不能这样做，李芾坚决命令他去做，沈忠哭泣允诺，拿酒使李芾的家人全部喝醉，就全部用刀杀死。李芾也引颈受刃。沈忠纵火焚烧他们的居所，回家杀掉他的妻子儿女，又到火场，大声恸哭，举身投地，于是自杀。幕僚茶陵颜应蕍、安仁陈亿孙都死。潭州百姓听说这一消息，多举家自尽，城无虚井，缢死于树林的人累累相比。吴继明等人以城投降，陈毅冲破包围，将要奔往闽地，中途战死。事情被朝廷听见后，赠李芾端明殿大学士，谥号“忠节”。李芾刚到潭州，遣送他的儿子裕孙出城，说“：保存你以祭祀。”他的孙子辅叔当时也在温州亲侄女家迎娶，都得以不死。南宋二王把他们都召入闽以他们为官。
李芾为人刚直忠介，不畏强暴权贵，临事精细敏悟，奸猾之人不能够欺骗他。而且精力过人，从清晨治理公事到傍晚毫无倦色，晚上通常到半夜才休息，五更时分又起床处理公事。望见他凛然不可犯，像神明一样，但他喜好贤能礼遇士人，与他接触感到温暖，虽然是一小小优点也诚恳奖掖推荐。平生居官清廉，等到被排斥，家里没有剩余的资产。