张彝，字庆宾，清河东武城人。曾祖父张幸，任慕容超属下的东牟太守，归顺北魏，赐爵为平陆侯，位至青州刺史。祖父张淮之继承官位，又任青州刺史。父亲张灵真，早亡。
张彝性格坚强，有风骨气节，博览经典史书，继承了祖父的侯爵。与卢阳鸟、李安人结成朋友。往来上朝参见君主，三个人都同行，卢阳鸟任主客令，李安人与张彝都任散客令。张彝虽然年少，却性情豪放。出入宫庭昂首阔步，无所顾忌。文明太后喜欢恭敬谨慎的臣僚，每次会见他都是这样，便召集百官，当面斥责他，让他悔过改正，而他毫无悔改的表示。他擅长于督察，朝廷每次派员到下面巡视检查，他常常是其中的人选。他清廉谨慎，严肃威猛，所到之处，人人畏服，同行的官员也因此称赞他。升任主客令，循例降侯为伯，转太中大夫，仍任主客曹的事情，不久又被封为黄门。后来跟随孝文帝南征，因母亲去世解除官职。他守丧超过礼节的规定，送葬从平城到家乡一千多里路，他完全步行，不乘坐车马。累得容貌消瘦憔悴，被人们所称道。孝文帝到冀州，派使者吊唁慰问，任他为骁骑将军而重新起用，回到朝廷又恢复原来的职务。因参与筹划迁都立功，晋爵为侯。
宣武帝亲自治理朝政，罢除六辅的官员。张彝与尚书邢峦听说对官吏处分不按正常制度，心存畏惧，出京逃走。被御史中尉甄深弹劾，说他们“如果不是强人和凶手，为什么跑到旷野中去？”朝廷下诏严厉地斥责他们。不久，任安西将军、秦州刺史。张彝平时崇尚典范，喜欢考察旧的制度和事例。到陇右任职后，更加认真探讨演习，于是官府的各种规矩，长官的仪仗，都赫然可观。羌、夏等少数民族都因为害怕他的威猛严整而表示服从。所辖之地安静无事，他被人们称赞为良吏。这年冬天，太极殿建成，他与郭祚等人都以勤勉谨慎的旧臣身份被朝廷征回参加贺典。他回到秦州，被晋封，号为抚军将军。上表请求解除州刺史的官职，朝廷不同意。
张彝治理陇中，有很多创建。树立新风，革掉旧俗，受到官民的爱戴敬仰。在那里为国家建造了一座名叫兴皇的寺院，所有犯罪的囚徒，根据罪行的轻重，罚他们到寺院工地上干活，不再让他们受皮鞭棍棒等刑具的拷打。这时，陈留公主正在守寡，张彝想娶她，公主也表示同意。仆射高肇也想与公主结婚，公主却不愿意。高肇十分恼怒，攻击张彝私立刑法，役使百姓。朝廷下诏派直后万贰兴火速到秦州调查。贰兴是高肇的亲信，欲致张彝于死地。然而，由于张彝清白守法，寻找他的过失却一无所得。朝廷派人代替了他的职务，调他回到洛阳，多年不安排职位。
张彝因中风，手脚不灵便，然而志气性情毫无改变。自己认真调治休养，勉强可以上朝参拜。过了很久，被任命为光禄大夫，加授金章紫绶。张彝喜好同知己交往，轻视那些人品低下的人，不合他心意的人，他视之蔑如。虽有病在家，而志向气节更高。向朝廷呈上自己撰写的《历帝图》五卷，起于伏羲，终于晋末，共十六个朝代，一百二十八位皇帝，历经三千二百七十年，记事五百八十九件。宣武帝很是称赞他的功劳。
张彝虽然年近六十，又加上中风，而自强不息，孜孜不倦。不管是官府和私人组织的讲解佛法的集会，还是官绅士大夫们作佛事，以及筵请僧道，斋戒讲演，他都积极参与。喜好善事，钦佩贤士，奖拔人物，南北各地新朋旧友，越来越多。他营造起规模宏大的宅第，十分华丽奢侈。对他的远房亲戚则颇为怠慢，不去关心照顾，因而，不断遭到他们的埋怨。对于荣誉地位，他总不能满足，多次上表述说自己在秦州建有开发汉中的功勋，希望朝廷给他增加赏赐，连续多年提出这种要求，引起了朝廷的反感。
他的第二子张仲王禹给朝廷呈上奏章，要求另外订立选拔官员的标准，将军人们排斥在外，不把他们列入高贵的等级。因此，军人们议论纷纷，叫喊辱骂，不绝于路。又在大街上张贴告示，约定时间聚集在一起，要杀死他的全家。张彝毫无畏惧躲避的意思，与他的儿子照样安住在家。神龟二年(519)二月，羽林武贲带领数千人，一起到尚书省吵骂，要抓获他的长子张始钧，没有抓到。军人们用石头砖瓦敲打大门，上上下下都很害怕，不敢出面制止。军人们举着火把，又抢去路上堆放的木柴，用木棍、石头为兵器，直冲到他的家里，将他拉到堂下，用力捶打，高喊着点燃了他家的房子。始钧、仲王禹兄弟俩从北面跳墙逃走。始均又回来救援他的父亲，向行凶的军人们下跪求饶，请求保留父亲的性命。张彝只剩下一口气，沙门寺与他家是近邻，用轿将他抬到庙中。看到和听到这件事的人，没有不惋惜和惊异的。他因此去世，朝廷只处决了羽林军中最凶悍的八个人，不能将所有的凶犯诛杀。为了安抚人心，其他人都被赦免。