李绅的字叫公垂，是中书令李敬玄的曾孙。因世代在南方做官，因此客居润州。李绅六岁失去了父亲，他像成人一样哀痛。母亲卢氏，亲自教他读书。
他生来矮小精明能干，写诗最有名，当时号称“矮李”。苏州刺史韦夏卿多次称赞他。他安葬母亲时，有乌鸦衔着灵芝落到灵车上。
元和初年，他考中了进士，被任命为国子监助教，他不乐意，就离职了。他客居金陵，李钅奇喜欢他的才干，任命他为掌书记官。李钅奇渐渐不守国法，幕僚没人敢说，李绅多次劝告，他不听；李绅想离职，他又不让。遇上皇帝派使者召唤李钅奇，他称病不去，留后王澹给他准备行装，他发怒了，暗地派兵把王澹杀死吃掉了，接着胁迫使者为众人奏报皇帝，希望让自己留下。李钅奇叫李绅写奏疏，他坐在李钅奇面前，假装害怕战抖，以致不能写字，写几笔就涂掉，写坏了几张纸，李钅奇发怒骂道：“你怎敢这样，不怕死吗？”他答道“：生平没有见过兵器铠甲，今天死得成了。”李钅奇用刀指着他，命他换纸写，但还是那样。有人说许纵会写军中文书，李绅不值得任用。李钅奇把许纵召来，许纵按要求执笔写了，李钅奇就把李绅关进监狱，李钅奇被杀死后他才被释放了。
有人想将这事报告皇上，他谢绝说：“我本受仁义激励，不是图名声。”那人就没报告。
很久以后，他被山南观察府任用，唐穆宗又召他进京任右拾遗、翰林学士，他和李德裕、元稹同事，号称“三俊才”。多次升官后任中书舍人。元稹当宰相，李逢吉派人报告于方的案件，元稹就被罢免了；李逢吉想推荐牛僧孺，担心李绅等人在皇帝面前阻拦，就任命李德裕为浙西观察使。牛僧孺当了宰相，任命李绅为御史中丞，是看到他性格刚强急躁，容易出问题，又看到韩愈执著直率，就任命韩愈为京兆尹，兼任御史大夫，不需参谒台臣来激怒李绅。李绅和韩愈果然互不相让，轮番援引双方官府旧例，往来论辩，互相指责，为这把他们都免职，任命李绅为江西观察使。皇帝一向对李绅很好，派使者到他家里去慰问赏赐，认为他愿意出京任官，他哭着说是被李逢吉陷害。他进宫谢恩，又自己诉说原因，皇帝醒悟了，改命他为户部侍郎。
李逢吉终究想陷害他。他同族的儿子李虞，在文章学术上有名气，作为隐士住在华阳，自称不愿做官，不时来探望李绅，一向和柏耆、程昔范要好。到柏耆当了左拾遗，李虞写信请求推荐，李绅讨厌他志向不定，狠狠地责备他。他失望了，后来到了京城，把李绅说过的坏话告诉了李逢吉。李逢吉更恼怒了，就采纳了张又新、李续等人的计谋，提升李虞、程昔范和刘栖楚都任拾遗，来挑李绅的毛病，又结交宦官王守澄帮助自己。遇到唐敬宗即位，李逢吉看到李绅失去了依靠可以算计，让王守澄乘便上奏说：“故世皇帝当初讨论立太子时，杜元颖、李绅劝立深王为太子，只有宰相李逢吉请求立皇上，李续、李虞赞成他。”李逢吉也乘机说李绅曾做不利于皇帝的事，请求把他赶出京城。皇帝刚登基，不能辨别，就贬李绅任端州司马。刘栖楚等人因他得到好地方，都恨得咬牙切齿。贬官诏书颁下，群臣向李逢吉道贺，只有右拾遗吴思没去。李逢吉排斥吴思，派他到吐蕃去报丧。这时人们没有敢说话的，只有韦处厚多次说李绅冤枉，驳斥李逢吉的诡计。后来皇帝在宫中找到去世皇帝亲手装的一箱奏章，打开后，看到裴度、杜元颖、李绅多次上奏请求立他为太子，皇帝才非常感动地醒悟了，把李逢吉一伙呈上的诽谤奏章都烧了。
起初，李绅贬去南方，走到封州、康州，那里有座媪龙祠，过去传说能呼风唤雨，李绅写文章祷告，不久河水猛涨。宝历年大赦令没提才被贬官的可移近任职，韦处厚坚持争取，皇帝追回诏书更改后，李绅得以调任江州长史，后升任滁、寿两州刺史。霍山老虎多，采茶的害怕老虎，挖陷坑、召人追踪射猎，都不能制服。李绅去了，把这些都撤除了，老虎也不伤人了。后来他任太子宾客分管洛阳分署。大和年间，李德裕掌权，提升他任浙东观察使。后李宗闵受皇帝宠信，又命他任太子宾客分管洛阳分署。开成初年，郑覃任命他为河南府尹。河南府有很多小无赖，有时戴着高帽子敞着衣裳，打大球，拦住大路，车辆马匹不敢通过。
李绅治理坚决严厉，他们都吓跑了。后升任宣武节度使。那年天大旱，蝗虫不到他的辖境去。
唐武宗登基，他调任淮南，后召进朝廷任中书侍郎、同中书门下平章事，又升任尚书右仆射、门下侍郎，被封为赵郡公爵。任职四年后，因脚无力不能上朝，辞去职位，以检校右仆射、同中书门下平章事身份，再任淮南节度使。后去世了，赠官太尉，赐谥号叫文肃。
此前，澧州人吴汝纳是韶州刺史吴武陵哥哥的儿子。吴武陵因贪赃被贬为潘州司户参军去世了，吴汝纳家被流放，长期没有调回，当时李吉甫任宰相，吴汝纳恨他，后来就参加了李宗闵集团。会昌年间，他担任永宁县尉，弟弟吴湘任江都县尉。辖区人告吴湘受赂不法，自己娶百姓颜悦的女儿。李绅派观察判官魏钅刑审讯吴湘，罪状清楚，上报处决了他。
当时，有议论的人说吴家世代和宰相有仇，怀疑李绅取悦宰相，罗织判他的罪。
谏官多次上奏，有诏派御史崔元藻复查，崔元藻说吴湘挪用官府钱粮有证据，娶辖区民女不真实，说颜悦曾任青州衙推，他妻子王氏是官宦人家的女儿，不应判罪。李德裕讨厌崔元藻两边讨好，上奏贬他为崖州司户参军。唐宣宗登基，李德裕被免职，李绅已经去世了。崔铉等人长期没能掌权，引诱吴汝纳，叫他为吴湘申冤说“：吴湘生平梗直，被人诬告，关进监狱，身受重刑，官吏们甚至将他娶妻时陪嫁的财产和奴仆算成是赃物。”又说“：颜悦过去是官宦人家，吴湘的罪都不该处死，李绅冤枉杀死了他。”还说：“吴湘死了，李绅命马上埋掉，不让回家乡安葬。李绅以故宰相身份镇守一片地方，任意弄权耍威风。一般真有罪，还要等秋分后；吴湘没有罪，盛夏被处死了。”
崔元藻恨李德裕贬自己的官，也改变过去的话，附和说：“御史复查回来，对皇帝都说清了是和非，李德裕权势极大，使我不能面见皇帝，我的判决不交有关部门执行，只根据李绅的报告把吴湘处死了。”这时，李德裕已经罢相，李宗闵过去的党羽令狐..、崔铉、白敏中都掌权，乘这机会报复，用好处引诱崔元藻等人，要三司使判决李绅受命镇守一方，虐待、杀害好人，按神龙年间的诏令，酷虐的官吏死后要剥夺官职爵位，后代不能做官，李绅虽已去世，请求遵从《春秋》惩罚去世者的榜样。有诏免去李绅的三种官职，后代不许做官。又贬李德裕的官；提升吴汝纳为左拾遗，崔元藻为武功县令。
当初，李绅靠文学才能和气节被任用，虽多次被仇人排斥贬官，最终能发挥自己的才干，任高官去世。有人说他所到之处都很严厉，有时过于暴虐苛刻，所以死后因吴湘案受了冤枉。