一行和尚，姓张，俗名叫遂，魏州昌乐县人，是襄州都督、郯国公张公谨的孙子。父亲名擅，曾任武功县令。一行年轻时聪慧机敏，博览群书，特别精通天文历法、阴阳、五行的学问。当时有个名叫尹崇的道士是位学识渊博的前辈，藏有许多古典书籍。一行去找尹崇，借来扬雄的《太玄经》，带回家阅读。过了几天，再到尹崇那里，归还《太玄经》。尹崇说：“这本书涵义很深，我探讨了多年，还没能弄明白，你再研读看看，怎么这样快地还给我？”一行说：“我已弄清它的涵义了。”说完拿出他撰写的《太衍玄图》和《义决》一卷给尹崇看。尹崇大为吃惊，就同一行讨论它的深奥意蕴，非常叹服他，对别人说：“这人简直就是当今的颜回。”一行从此很有名气。武三思艳羡他的学问名望，亲自上门要求跟他交个朋友，一行逃走躲藏起来回避他。一行不久出家当和尚，隐居在嵩山，拜普寂和尚为师。睿宗李旦登位，命令东都洛阳留守韦安石按照礼仪征召他，一行假托生病坚决谢绝，不接受命令。之后徒步走到荆州当阳山，依附悟真和尚学习佛经戒律。
开元五年(717)，玄宗李隆基命令他的同族叔父、礼部郎中李洽带着诏书到荆州强行征召他。一行来到京城，被安排在光太殿，玄宗多次亲自登门，向他询问安定国家、抚慰百姓的方略，一行的言谈都直截了当，没有什么隐讳的。开元十年(722)，永穆公主出嫁，玄宗命令有关部门按照太平公主当年的礼仪规格，给予优厚安排。一行认为高宗晚年，只有一个女儿，所以特地提高礼仪规格，再说太平公主骄横傲慢超越身份，终于因此获罪，不应把她作为范例。玄宗采纳了他的意见，立即撤销命令不予执行，只按通常礼仪规格安排。他对玄宗的直言劝谏都是这类事情。
一行特别善于著书立说，撰写《大衍论》三卷，《摄调伏藏》十卷，《天一太一经》和《太一局遁甲经》、《释氏系录》各一卷。当时《麟德历经》推算的历法逐渐脱离实际，诏令一行参考前代各家历法，改写新的历书，又命令率府长史梁令瓒等人和工匠一起研制测定太阳运行和星辰位置的、名叫“黄道游仪”的仪表，用来考核太阳、月亮、水星、火星、木星、金星、土星这七个天体运行的度数，和历法相互验明正误。一行于是借鉴《周易》运用气数推演八卦的原理，设立一种推算方法和它对应，改写成《开元大衍历经》。开元十五年(727)去世，终年四十五岁，玄宗赐予谥号叫大慧禅师。
当初，一行的堂叔伯祖父、东台舍人张太素，编写《后魏书》一百卷，其中的《天文志》还没有写完，一行接着写完了。玄宗为一行撰写碑文，亲笔书写在碑石上，拿出宫庭府库的五十万钱，在铜人原为他建造佛塔保存遗体。第二年，玄宗到温泉宫休养，从塔前经过，停下车马在塔前走来走去，命令具有品级的官吏来到佛塔，告诉他们自己出宫巡视的意图，又赏赐五十匹绢，让他们在塔前栽种松柏。
当初，一行寻访老师，以便深入研究用气数推演八卦的学问，到天台山国清寺，看见一处庭院，院内有十来株苍松，门前有一条溪流，一行站在大门和照壁之间，听见有位和尚在庭院里排列算筹进行推算的声音，和尚对他的徒弟说：“今天会有一个弟子从远方来学习我的推算法术，应该已到门前了，难道没有人带他进来吗？”又走上台阶算了一次。再对他的徒弟说：“门前的溪水应当向西倒流，那个弟子也到了。”一行按照他的话快步走进院子，叩头请求传授推算法术，向他学会了全部法术，院门前的溪水果然向西倒流。一位名叫邢和璞的道士曾对尹忄音说：“一行大概是圣人吧？西汉的洛下闳制定《太初历》，说：‘八百年后应当误差一天，一定有圣人校正它。’今年期限已满，一行就制定《开元大衍历经》校正它的误差，那么洛下闳的话应验了，他不是圣人是什么？”
当时还有一位名字叫泓的黄州和尚，善于卜葬法术。每当来回观察山陵原野后，就画出图形来，张说非常相信看重他。