胡铨字邦衡，庐陵人。建炎二年(1128)，高宗在淮海策问进士，胡铨对御题问“治道本天，天道本民”，回答说：“汤、武顺从民众而兴起，桀、纣顺应天道而灭亡。现在陛下起于干戈锋镝之间，外乱内讧，而策问臣下数十条，都质问于天道，而不倾听民众呼声。”又说：“现在的宰相不比过去的晏殊，枢密、参政又不是过去的韩琦、杜衍、范仲淹。”答问长达一万多字，高宗看到而惊异，打算把他列为众多进士中的第一名，有人忌恨他的耿直，移为第五名。授予抚州军事判官，没有上任，恰逢隆佑太后逃避金兵到赣州，金军随后追击，胡铨以漕司檄文统摄本州幕僚，召募乡丁辅佐官军抵御，受赏转承直郎。服父丧，从乡先生萧楚学习《春秋》。
绍兴五年(1135)，张浚设都督府，辟举胡铨任湖北仓属，胡铨没有赴任。有诏令到都堂审察，兵部尚书吕祉以贤良方正推荐他，赐对，任枢密院编修官。
绍兴八年(1138)，宰相秦桧主持议和，金使以“诏谕江南”为名南来，朝廷内外群情激愤。胡铨违抗诏令上疏说：
“臣谨案，王伦本是一狎邪小人，市井无赖，由于宰相无知，于是推举他出使敌国。专门从事诡作怪诞之事，欺骗蒙蔽皇上视听，骤然得到高官美职，天下之人都切齿唾骂。现在无故引诱敌使前来，以‘诏谕江南’为名，是想让我朝臣服它，是想让我朝充当刘豫的角色。刘豫以臣子之礼侍奉敌人，南面称王，自以为奠定子孙万代不变的大业，而一旦豺狼改变主意，便突然揪住绑缚他们，父子都成为阶下之囚。借鉴并不遥远，而王伦又想让陛下仿效刘豫。天下，是祖宗的天下，陛下所居的皇位，是祖宗的皇位，怎么能以祖宗的天下送给金人，将祖宗的皇位变成金朝藩臣的位子！陛下一旦屈膝，那么祖宗在天之灵蒙受夷狄的污辱，祖宗数百年赤子臣民，全部沦为奴隶，朝廷宰执全部成为陪臣，天下士大夫都会撕毁冠冕，变穿胡服。以后豺狼的欲求将更加贪得无厌，怎么能知道它不会像无礼对待刘豫那样对待我朝呢？
“三尺孩童是没有什么知识的，但如果指着猪狗让他下拜，他也会怫然大怒。现在的金人就是猪狗，我朝堂堂大国，一个接着一个朝拜猪狗，这种举动，连童孺都会感到羞耻，而陛下能够忍心这样做吗？王伦的议论这样说‘：我一屈膝那么棺椁就能回来，太后能够归来，钦宗也能归来，中原土地可以得到。’哎呀！自从发生变故以来，主持和议的人谁不以此劝说引诱陛下呢！但是最终没有一次应验，由此就可以知道敌人的真实意图了。但陛下至今仍没有醒悟，竭尽人民膏血而不加抚恤，忘记国家奇耻大辱而不报复，含垢忍羞，甘心情愿举大宋江山而臣服敌人。即使是金朝一定可以和好，全部像王伦所说的那样，天下和后代将把陛下看成一位什么样的皇帝呢？况且敌人时常变诈毫无信义，而王伦又以奸邪辅助，棺椁一定不会交还，太后一定不会回来，钦宗一定不会南归，中原土地一定不会得到，而此时一旦屈膝以后不能再伸，国势陵夷不能再振，可以痛哭流涕长久叹息了。
“过去陛下曾辗转海上，势如危卵，当时还不忍北面臣服敌人，况且现在国势稍振，众将尽锐，士卒思奋报效。比如不久前金人嚣张，伪齐入侵，曾经失败于襄阳，失败于淮上，失败于涡口，失败于淮阴，这同以前被迫蹈海那种危险的局面相比较，已是大大不同，倘若不得已而用兵，我朝岂会一定败在金军手下呢？现在无故反而臣服金人，打算屈皇帝之尊，下穹庐之拜，三军将士未战而士气已懈。这就是鲁仲连所以义不称秦为帝，不是珍惜以秦为帝这一虚名，而是珍惜天下有不能尊其为帝的形势。现在朝内的百官，朝外的军民，万众一声，都要吃王伦之肉。议论纷纷，陛下没有听到，恐怕一旦发生变故，将有不测的祸患。臣私下认为不斩除王伦，国家的安危存亡不可知。
“虽然如此，王伦并不足道，秦桧以腹心大臣竟然也这样做。陛下有尧、舜那样的天资，秦桧不能辅助皇上如同唐、虞，而打算引导陛下成为后晋石敬瑭。近来礼部侍郎曾开等引用古代教训阻止他，秦桧竟然厉声斥责说：‘侍郎了解过去的事例，难道只有我不知道！’那么秦桧坚持己见拒绝谏言，已由此可见，而又奏请命令台谏、侍臣计议能否和议，大概是害怕天下议论自己，而让台谏、侍臣共同分担指责罢了。有识之士都认为朝廷没有人才，哎，可惜啊！
“孔子说：‘没有管仲，我们都会披发左衽变成少数民族的奴隶了！’管仲，是霸者的辅佐，尚能变左衽之区，而为衣裳之会。秦桧，是大国的宰相，反而驱使衣冠之俗，变成左衽之乡。这样秦桧不仅是陛下的罪人，实际上也是管仲的罪人。孙近附和秦桧，于是得到参知政事的官职，天下希望得到治理如同饥渴，而孙近位居重位，不敢对事情否定认可。秦桧说可和，孙近也说可和；秦桧说皇上当拜领金朝国书，孙近也说当拜。臣曾到政事堂，三次质问而孙近避而不答，只是说‘：已令台谏、侍从计议。’哎呀！参赞国家大政，只是这样占居要位。假如敌骑长驱直入，还能折冲御侮吗？臣个人认为秦桧、孙近也应当斩首。
“臣身为枢密院官属，同秦桧等人不共戴天，区区之心，希望砍下三人头颅，挂在大街之上，然后拘留金使，以无礼谴责，兴问罪之师，这样三军将士未战而士气倍增。不然，臣只有投东海而死，怎能身处小朝廷苟求活命呢！”
奏疏上报之后，秦桧认为胡铨狂妄凶悖，鼓众劫持，诏令除名，贬送昭州管制，并降诏传告朝廷内外。给事中、中书舍人、台谏以及朝臣中有许多人出面营救，秦桧迫于公论，于是以胡铨监广州盐仓。次年，改为签书威武军判官。绍兴十二年(1142)，谏官罗汝楫弹劾胡铨饰非横议，诏令除名，贬送新州管制。绍兴十八年(1148)，新州守臣张棣攻讦胡铨与宾客唱酬对答，诽谤怨恨朝廷，贬谪到吉阳军。
绍兴二十六年(1156)，秦桧死去，胡铨移到衡州。胡铨当初上书时，宜兴进士吴师古刻版印刷传播，金人用千金求购其书。胡铨谪居广州，朝士陈刚中写信向他表示问候，谪居新州时，同郡王廷王圭写诗赠行。都被人告发，吴师古流放袁州，王廷王圭流放辰州，陈刚中贬知虔州安远县，于是死去。绍兴三十一年，胡铨得以随便居住。
孝宗即位后，胡铨恢复官职任奉议郎、知饶州。召他入对，胡铨上奏修德、结民、练兵、观衅四事。孝宗说“：我很早就听说你耿直诚实。”任命他为吏部郎官。隆兴元年(1163)，迁任秘书少监、擢任起居郎，论述史官失职的情况有四点：一是记注不必进呈，使皇上有不观史之弊病；二是唐制两史立于殿前雕有螭头形的石阶之下，现在立在殿的东南角，皇上言行不能听到；三是两史官立于后殿，而前殿不立，请于前后殿都分别侍立；四是史官想到皇帝面前，而..门以未曾预告通报，今日无班次推辞。请求自今以后到皇帝面前言事，不必预先通报..门，及以有无班次作为拘束。诏令听从了他的意见。胡铨兼任侍讲、国史馆编修官。通过讲解《礼记》，说：“君以礼为重，礼以分为重，分以名为重，希望陛下不要把名号和官职轻易假手他人。”
又进言请求将都城设在建康，说：“汉高祖进入关中，光武帝刘秀守卫信都，大抵与人作战，不扼敌人咽喉，不打击敌人侧背，不能获得全胜。今天天下形势，自淮河以北，就是天下的咽喉和侧背，建康就是控扼敌人、打击敌人的险要之地。如果进据建康，下临中原，这是高祖、光武帝兴复大业的计谋。”
下诏计议皇帝出行，言者请求延缓行期，于是让张浚视察军队图谋恢复失地，侍御史王十朋赞同这种做法。收复宿州，大将李显忠私吞金帛，并同邵宏渊发生纷争，军队大溃。王十朋上章自劾。皇帝十分震怒，胡铨上疏希望不要因小败而自馁。
当时发生旱灾、蝗灾和星变，皇帝下诏垂询政事缺失，胡铨应诏上书数千言，全篇引用《春秋》记载灾异的方法，论述政令缺失的情况有十种，而上下情不合的情况也有十种，并说：“尧、舜四目明白，四耳通达，虽有共、鲧之乱，不能堵塞。秦二世以赵高为腹心，刘邦、项羽横行而没有听说；汉成帝杀死王章，王氏移鼎而没有听说；灵帝杀死窦武、陈蕃，天下崩溃而没有听说；梁武帝信任朱异，侯景斩关夺隘而没有听说；隋炀帝信任虞世基，李密称帝而没有听说；唐明皇驱逐张九龄，安、史包藏祸胎而没有听说。陛下自从即位以后，号召延揽宾客，与我同时召来的张焘、辛次膺、王大宝、王十朋，现在张焘已离开朝廷了，辛次膺离开朝廷了，王十朋离开朝廷了，王大宝也将离去，只有臣还在。以言论为避讳，而想堵塞灾异的根源，臣知道必然不能做到。”
胡铨又说：“过去周世宗被刘..击败，周世宗处斩败将何徽等七十人，军威大震，果然打败刘..，夺取淮南，抚定三关。一天之内处死七十位将领，哪里还有将领可以使用？但周世宗终能恢复失地，这难道不是因为无能懦弱的人离开，而勇敢的人出来了吗？近来宿州之败，将士死于敌手的布满原野，而败军之将以得到的金银贿赂权贵以求得自解，上天以灾异昭示人们，陛下必须信赏必罚以顺应天道变化。”他又谈论台谏官说：“今朝廷大臣以箴默不言为贤，取悦陛下为忠，导致唐德宗时‘卖直’那样的事发生，正所谓‘一言丧邦’。”皇上说：“不是你，我听不到这些。”
金朝请求和议，胡铨说：“金朝知道陛下锐意恢复中原，因此用好话欺骗我，希望绝口不要说‘和’字。”皇上将边防事宜全部交付张浚，而王之望、尹穑等人专主议和排挤张浚，胡铨当廷斥责他们。胡铨兼任权中书舍人、同修国史。张浚儿子张木式被赐金紫，胡铨收缴上奏，认为不应当这样对待勋臣子弟。张浚与胡铨交情深厚，胡铨不顾忌这一点。
十一月，诏令派遣使者到金朝讲和，在朝臣中征求意见，侍从、台谏参加计议的共有十四人。力主和议的占一半，模棱两可的占一半，说不能议和的不过胡铨一人，于是独自提出一项建议说：“京师失守是由于耿南仲主和，徽、钦二帝流落远方是由于何..主和，维阳失守是由于汪伯彦、黄潜善主和，完颜亮南侵是由于秦桧主和。议者都这样说‘：外号和而内不忘战。’这是权臣一向的误国言论。一旦沉溺于讲和，不能自拔，还能战吗？”朝廷任命他为宗正少卿，胡铨请求外任，没被允许。
早先，金将蒲察徒穆、大周仁以泗州地投降，萧琦率兵一百人投降，诏令都授予他们节度使。胡铨说“：接受投降自古以来都是件棘手的事情，六朝七次得到河南地区，但很快又都丧失；梁武帝时侯景将河南地区来投降，不久台城沦陷；本朝政和、宣和年间，郭药师从燕云来投，不久成为中国祸患。现在金朝三大将前来归附，给予高官厚禄，优待他们的部队，以维系中原民心，是不错的。但让他们驻在都城附近，万一他们包藏祸心，作为内应，将来会后悔莫及，希望不要任命他们掌管兵权，把他们的部众迁移到湖、广地区以杜绝后患。”
隆兴二年(1164)，胡铨兼任国子监祭酒，不久任权兵部侍郎。八月，皇上因灾异避住偏殿减少膳食，诏令廷臣议论政事缺失和当前急务。胡铨认为救灾是当务之急，同金讲和是政事缺失，他评论议和的奏疏说：
“从靖康之难至今已有四十年，遭到三次大的变故，都是由于议和，那么不能同敌人议和，已经十分明显了。鄙夫无能之辈，众口一辞，牢不可破，并不是不知道和议的害处。但争着主张和议的，有三种情况：一是偷懦，二是苟安，三是附会。偷懦就不知道立国，苟安就不会根除积病，附会则是为了得到美官，小人的情状都在这里。
“今天的和议如果成功，那么就有十种可为悲哀的事情；如果不成功，那么就有十种情形可以表示祝贺。请让我为陛下详细说明什么是可以悲哀的十种情况。
“真宗皇帝时宰相李沅对王旦说：‘我死后，你一定会做宰相，切记不要同敌人讲和。我听说出则无敌国外患，像这样国家常亡，如果同敌人讲和，从此以后中国必然多事了。’王旦很不以为然。同敌人议和之后，国内耗费殆尽，王旦才后悔没有听取李沅的话。这是可以悲哀的第一种情况。
“中原地区讴歌吟咏想要归顺的民众，日夜翘首盼望陛下将他们拯救出水火之中，如同赤子盼望慈祥的父母，一旦同金议和，那么中原地区民众绝望，将后悔莫及。这是第二种可以悲哀的情况。
“海、泗两州是现在的藩篱咽喉之地，敌人得到海、泗，将会打开我朝藩篱瞰视我朝内室，扼住我朝咽喉控制我朝生命，那么两淮地区决不能保住。两淮不保，那么长江决不能守住；长江不能守，那么江、浙决不会安全。这是第三种可以悲哀的情况。
“绍兴八年(1138)，和议达成后，秦桧建议派遣二三位大臣如路允迪等，分道前往南京等地交割归还的土地。金朝突然背叛盟约，拘留路允迪等人，于是皇上下诏亲征，金朝又请求议和。其反复无常如此狡诈，秦桧还不醒悟，奉金犹如当初，事金更加恭谨，贿赂更加优厚，终于致使完颜亮南侵，惊动皇上。高宗计划避入海中，朝中居民一空，前鉴不远，不以为戒，臣恐怕又将重蹈覆辙。这是第四种可以悲哀的情况。
“绍兴和议，先计定决不交还前来归顺的民众，墨迹未干，全部改变以前的决定。凡是归顺的人一律遣返，如程师回、赵良嗣等聚集部族数百家，几乎酿成萧墙之祸。现在金一定要全部索取投奔我朝的民众，交还它就会反侧生变，不交还它就决不肯罢休。反侧是肘腋的深患，金不肯罢休，就必然会另外挑起事端，突然遭完颜亮那样南侵的谋划，不知道怎么样来对待它。这是第五种可以悲哀的情况。
“在秦桧当政的二十年间，竭尽民众膏血以喂养犬羊，至今府库之中已没有旬月储蓄，千村万户生理萧然，又加上蝗害水灾不断。自此讲和，扰国害民，情况就会更加严重。这是第六种可以悲哀的情况。
“今天之患，兵费已很巨大，供养军队之外，又增加给金的岁币，就以十年计算，费用不少于数千亿。而岁币之外，又有私觌之费；私觌之外，又有贺正、生辰使节费用；贺正、生辰之外，还有平时各种各样的使用。一使还没离开，另一使节又来到，民众疲于奔命，仓廪涸于迎送，贫瘠自己而养肥敌人，陛下何忍这样做。这是第七种可以悲哀的情况。
“从侧面听说金人书信侮辱我朝，想直呼皇上之名，想去掉我朝国号‘大’字，想拜迎其国书。议论者认为繁文小节不必计较，臣切以为这样议论的人应该斩首。四郊多壁垒，是卿大夫的侮辱；楚子问鼎，为义士所深耻；‘献纳’二字，富弼以死抗争。现在敌人横行与多垒哪更耻辱？国号大小同鼎轻重哪更严重？‘献纳’二字同再拜哪更严重？臣子想让君父屈己以服从敌人，就是多垒不足为辱，问鼎不必为耻，‘献纳’不必争执。这是第八种可以悲哀的情况。
“臣恐怕再拜不已至于对金称臣，称臣不已必至于向金请降，请降不已必至于向金纳土，纳土不已必至于衔壁出降，衔壁不已必至于载棺以随，表示决死；舆榇不已必至于像晋帝那样青衣行酒然后为快。这是第九种应该感到悲哀的情况。
“事情到了这个地步，即使是求为匹夫还能得到吗？这是第十种可以悲哀的情况。
“我私自观察今天的形势，和议决不能成功，倘若当机立断，追回使者魏杞、康蔍等人，断绝讲和的议论以鼓动战士，下哀痛之诏令以收起民心，天下才有可作为。这样可以庆贺的情况也有十种：节省数千亿的岁币，这是一；专意讲求武备，足食足兵，这是二；没有直呼皇上之名的奇耻，这是三；没有去掉‘大’字的大辱，这是四；没有拜受金朝国书的屈辱，这是五；没有对金称臣的忿愤，这是六；没有请求投降的祸患，这是七；没有交纳土地的悲哀，这是八；没有衔壁、舆榇的残酷，这是九；没有青衣行酒的冤屈，这是十。
“去掉十种悲哀而得到十种应该庆贺的事情，利害得失比较，即使是三尺童稚也知道，而陛下不醒悟。《春秋左氏传》说无勇是妇人，今天全朝之士都是妇人。如果认为我说的不是这样，请将我流放到极边，以为臣子超出职位冒犯本分的劝戒。”
自从符离失败之后，朝廷舆论急于同金讲和，放弃唐、邓、海、泗四州给金。金朝又想得到商、秦地区，增加岁币，扣留使者魏杞，分兵进攻淮河地区。胡铨以本职安排处置浙西、淮东海道防务。
当时金朝派仆散忠义、纥石烈志宁率兵号称八十万，刘宝放弃楚州，王彦放弃昭关，濠、滁州都沦陷。只有高邮守将陈敏在射阳湖抵拒敌人，而大将李宝预求密诏以保全自己，拥兵不救。胡铨上章弹劾他，说：“臣受诏命令范荣防备淮河，李宝防备长江，紧急时互相救援。今天李宝坐视陈敏不往救援，如果射阳失守，大事去了。”李宝害怕，才出师牵制敌人。当时天降大雪，河上结冰连成一片，胡铨先用铁凿开结冰，士卒都人人服从命令，金军于是退走。过了很久，胡铨提举太平兴国宫。
乾道初年，胡铨以集英殿修撰的身份知漳州，改任泉州。上朝奏事，留任工部侍郎。入朝对策，说：“少康以一旅之师恢复夏禹基业，今陛下富有四海，不只一旅，而即位已经九年，恢复过去基业的效果还未显著。”又说：“天下多水旱灾害，左右不上报，这是为国谋画者的过错，应该命令有关部门迅速做好防灾准备。”请求退休。
乾道七年(1171)，任宝文阁待制，留经筵。请求离职。以敷文阁直学士出外任宫观官。辞行时，还以归还陵寝、恢复故疆上言，皇上说：“这是我的志向。”并问他回到哪里，胡铨说：“回到庐陵，臣以前在岭海曾经训解经书，想写成此书。”皇上特赐通天犀带以示宠荣。
胡铨归去后，献上所著《易》、《春秋》、《周礼》、《礼记解》，皇上诏令收藏于秘书省。不久复任原官，升龙图阁学士、提举太平兴国宫，转提举玉隆万寿宫，进为端明殿学士。淳熙六年(1179)，召胡铨归经筵，胡铨以疾病极力推辞。淳熙七年，以资政殿学士身份退休。去世后，谥号“忠简”。著有《澹庵集》一百卷流传于世。