张行成别名德立，定州义丰人。年轻时把刘炫当作老师敬重，刘炫对门客说“：张行成仪态气质稳重正直，是将相人才。”隋炀帝大业末年，被举荐为秀才，任谒者台散从员外郎。后来任王世充的度支尚书。王世充失败后，张行成凭着隋朝的资历被委任为谷熟县尉。他家境贫寒，代替掌管计簿的官吏留在京城，参加朝廷殿试中乙科进士，改任陈仓县尉。
高祖李渊对吏部侍郎张锐说“：如今候选官吏中难道没有才干特别通达高深的？
我要重用他。”张锐介绍了张行成，调任富平县主簿，获得有才的名声。召回朝廷任殿中侍御史，揭发弹劾官吏的过失刚直不屈。太宗李世民认为他有才干，对房玄龄说“：从古到今使用人才不曾不靠别人介绍，像张行成，我自己推荐他，不必事先介绍。”
有一次陪同太宗宴饮，太宗谈论山东人和关中人，言语之间对他们各有褒贬。张行成说“：国君把天下当作自己的家庭，不应在东边西边之间划分界线，您今天是向天下臣民表明了心胸狭窄。”太宗说好，赐给他名马一匹、钱十万、衣服一套。从此有了重大政务，让他参与商议。连续升任为给事中。太宗有一次对朝臣们讲“：我当国君，兼做将相的工作，岂不是抢了您诸位的声誉？虞舜、夏禹、商汤、周武王得到了后稷、殷契、伊尹、吕尚就四海稳定，汉高祖有了萧何、曹参、韩信、彭越就天下太平，我是帝王将相的事都包下来了。”张行成退朝，呈递奏疏说“：隋朝无道，天下群情激愤，陛下治理乱世恢复安定，把百姓从苦难之中拯救出来，哪里是周朝、汉朝的君主臣子能相提并论的。虽是这样，但大德含而不露，气概广大开阔。陛下身边的文武官员实在是没有将相的才能，哪里用得着在广庭大众之中跟他们比较高低，损害大国君主的尊严，和臣子争功劳呢？”太宗赞许采纳了他的意见。张行成改任刑部侍郎、太子少詹事。
太宗亲征高丽时，太子驻守定州代为处理国政，对张行成说：“我这是护送您衣锦还乡啊！”命令主管官吏到他祖先的墓地上祭奠。张行成向太子介绍了学识品行闻名的同乡魏唐卿、崔宝权、马龙驹、张君吉力，太子召见了他们，因为他们年事已高，不能担任公务，给予了丰厚的赏赐后让他们走了。太子派张行成到太宗的行营拜望，太宗见了高兴得不得了，赏赐慰劳特别优厚。回来之后任河南巡察大使，符合太宗旨意，升为检校尚书左丞。这年，太宗巡视灵州，诏令皇太子陪同。张行成劝谏说“：皇太子应该留守京城代为处理朝政，督率百官每天决断各种政务，既把京城看得重要，还向天下显示大德。”太宗认为这是忠言。张行成升任侍中、兼任刑部尚书。
高宗李治登上帝位，封张行成为北平县公，主持编撰本朝历史。当时晋州地震不停，高宗询问这事的征兆，张行成回答说：“天，是阳，君主的象征；地，是阴，臣子的象征。君主应当像天体一样运行，臣子应当像大地一样静止。现在应当静止的反而运动，恐怕有人通过宫廷宠信的女子请求嘱托来左右朝政，大臣秘密图谋不轨。还有各亲王、公主参见侍候问安，有人会窥测可乘之机，应当明确设置防范措施。再说晋州，是陛下原来的封地，应当不让空着发生变故，希望深思熟虑，在还没有出现苗头之前就进行杜绝。”高宗认为是这样，诏令五品以上官员尽情评论朝政得失。不久授予他尚书左仆射、太子少傅官衔。永徽四年(653)，从三月到五月一直不下雨，张行成害怕了，以年老为理由请求退休，高宗行文答复说：“古人上书要求免官，违背自责的本意。这是由于我德行太少，不是您的罪过。”还赐给他宫女、黄金器物，叫他不要再提辞职的话。张行成坚决请求退休，高宗说：“您是我的老臣，怎么能撇下我就走呢？”泪水直流。张行成惊慌恐惧，不得已又主持政务。没有多久，死在尚书省的官署里，享年六十七岁。高宗诏令九品以上官员登门哀悼。
入殓时，三次派遣使者赏赐宫中衣服，宫中女官尚宫守在他家里督理丧事。追认为开府仪同三司、并州都督，用一只羊的少牢规格举行祭奠，谥号为“定”。弘道元年(683)，朝廷诏令在高宗祠庙里设置张行成的灵位享受祭祀。
他有两个同族侄儿：张易之、张昌宗。