张孝祥字安国，历阳乌江人。他读书过目不忘，下笔顷刻数千字。十六岁时，张孝祥乡试中试，又被乡里推荐为第一名。绍兴二十四年(1154)，张孝祥参加廷试考到第一名。当时策问师友渊源，秦埙与曹冠都竭力攻击程氏专门之学，张孝祥独独不这样做。考官已定下秦埙为士人中之冠，张孝祥次之，曹冠又次之。高宗读了秦埙的对策都是秦桧所说过的话，于是把张孝祥提为第一名，而秦埙为第三名，授予张孝祥承事郎、签书镇东军节度判官。皇上告诉宰相说“：张孝祥诗词、文笔都很美。”
开始，皇上抑制秦埙而提拔张孝祥，秦桧已经很不高兴了，后来又知道张孝祥是张祁的儿子，张祁与胡寅关系密切，秦桧一向不满意胡寅，况且公布廷试名次后，曹泳在殿廷对张孝祥拱手让礼，请求结为姻亲，张孝祥不答应，曹泳对他很不满意。于是暗示言官诬陷张孝祥有造反的企图，张孝祥被牵连，由皇上下诏关进监狱。正遇秦桧死去，皇上郊祀的第二天，魏良臣私下奏请皇上为张孝祥解除监禁洗脱罪名，于是任命张孝祥为秘书正字。过去，殿试第一名者，要次年举荐才被用，张孝祥中第只一年由此得以召用。
张孝祥首次回答皇上的提问，首先说请皇上总揽朝纲大权以使国家变得更加完善。又说“：官吏违背已故宰相的意见，一同凭借舞文弄法，陷人入罪，有关部门观望不管，任其罗织罪名陷人于罪，请令有关部门立即加以改正。”张孝祥又说“：王安著《日录》，把一时政事，做得好的就归功自己。已故宰相的专信专用，并不只有王安石。我担心所著的《时政记》，也如王安石专用自己的意思，乞求把所修订的《日历》详细审查加以改正，罢黜私家之说以垂青史。”皇上听从了他的意见。
张孝祥升为校书郎。太庙里长出灵芝，张孝祥献上文章《原芝》，以国家的根本未立为主要内容，并说：“灵芝长在仁宗、英宗的坟墓上，可明白天意，乞求早日定下大计。”张孝祥升为礼部员外郎，不久为起居舍人、权中书舍人。
当初，张孝祥考中进士，出自汤思退门下，思退为宰相，对张孝祥大力提拔。汤思退一向不喜欢汪澈，张孝祥与汪澈一同任馆职，汪澈老成持重诚实，而张孝祥年少气盛，往往凌驾在他之上不顺从他。到汪澈为御史中丞时，他首先弹劾张孝祥奸邪程度不亚于卢杞，张孝祥于是被罢职，提举江州太平兴国宫，于是汤思退的门客渐渐被驱逐。
不久张孝祥任抚州知州。他年纪不到三十，处理事情很精明、准确，州县中很老练的人比不上他。孝宗即位后，张孝祥又任集英殿修撰、平江府知府之职。事务繁重艰巨，张孝祥一一加以分析解决，知府庭上没有滞留的案件。平江府所属县中的大姓把海中利润一起装入自己口袋获得暴利，张孝祥派人捕捉他们并加以处理，没收其家谷粟几万斛。第二年，吴中饥荒，一直靠这些粮食赈济百姓。
张浚从蜀国回到朝廷，向皇上推荐张孝祥，皇上召张孝祥前往行在。张孝祥既然一向被汤思退所赏识，等到他被张浚推荐，汤思退感到不悦。张孝祥进宫回答皇上的问题，于是陈述：“二位宰相应当同心协力，以辅佐皇上完成恢复国家的大任。况且靖康以来只有和与战两种意见，留下无穷的祸害，必须先制定自治之策来对付现在的形势。”又说“：选用人才的路太狭窄，请求广泛征择朝外有识之士以备缓急之用。”皇上认为很对。
张孝祥拜官中书舍人，不久拜官直学士院兼都督府参赞军事。不久又兼任建康留守，因为言官的意见改任敷文阁待制，留守之职照旧。遇金再次入侵边境，张孝祥陈述金的目的不过是想结盟约。宣谕使弹劾张孝祥使之失去职位，被罢黜。
张孝祥复职为集英殿修撰、静江府知府、广南西路经略安抚使，他治政有声有色，大有作为，又因为言官的意见被罢。不久张孝祥被起用任潭州知州，治政简明易行，不时以威力佐政，湖南于是平安无事。张孝祥恢复待制，改任荆南、荆湖北安抚使。他组织修筑了寸金堤，从此荆州没有洪水之患，又设立万盈仓来储备各种漕运的粮食。
张孝祥请求管理一祠观，后因病死去，孝宗感到十分惋惜，有用才不尽的感触。张孝祥进为显阁学士致仕，终年三十八岁。
张孝祥才智出众，文章水平超过一般的人，尤其工于笔墨，曾亲自书写奏札，高宗看了后说他：“将来一定闻名于世。”不过宋朝南迁之初，朝廷内部主要意见只有和与战二种，张浚主张复仇，汤思退因袭秦桧的意见力求议和，张孝祥出入这二人之门而持二种意见，态度不明朗，人们为他感到惋惜。