高仙芝是高丽人。父亲是高舍鸡，开始在河西军任将军，后在四镇任校将。
高仙芝二十几岁时，跟着父亲到了安西，因父亲的战功担任游击将军。几年后，和父亲官职就相同了。高仙芝容貌漂亮，擅长骑马射箭，他父亲还担心他优柔寡断。开始他在节度使田仁琬、盖嘉运等人手下带兵，不很出名。后来隶属夫蒙灵察，开始受重用。开元末年，封他为安西副都护、四镇都知兵马使。
小勃律国的国王被吐蕃引诱，吐蕃赞普将女儿嫁给他做妻子。因此西北二十多国都归附了吐蕃。从田仁琬以来多次讨伐小勃律国，都没有成功。天宝六年(747)，皇帝下诏令高仙芝率步、骑兵一万名出兵讨伐。当时步兵都有私人马匹随行，高仙芝就从安西经过拨换城，进入握瑟德，又经过疏勒，越过葱岭，渡过播密川，就驻扎在特勒满川，共走了一百天。特勒满川就是五识匿国。高仙芝把军队分成三支，派疏勒将领赵崇王此从北谷路线、拨换将领贾崇馞从赤佛路线、高仙芝和监军边令诚从护密路线同时进攻，约定在连云堡会合。连云堡有守兵一千多人。城南边依山修寨，又有守兵九千人守卫。城下是婆勒川。遇上川水上涨，无法渡过，高仙芝杀牲口祭祀，命兵将每人带三天的干粮在川边集合，兵将都不大相信。涉水过去后，旗没沾水，马未湿鞍。军队列好了阵，高仙芝高兴了，对边令诚说：“刚才我们才过河时，敌军如进攻我们，我们就活不成了。现已过河列好阵，是老天帮助我们讨贼成功。”于是上山挑战，没到中午，攻破了敌军，占领了敌人城堡，杀头五千颗，俘获了一千人，战马一千多匹，衣裳物资器械铠甲数以万计。高仙芝想乘胜向国内进攻，边令诚害怕了，不肯走。高仙芝就留下三千名老弱兵派他据守，于是率军进兵。三天后，登上了坦驹岭。山岭极陡，下山有四十里路。高仙芝怕兵将畏险不敢前进，就偷偷派二十名骑兵，穿上阿弩越胡的服装来迎接，他先对部将说：“阿弩越胡来迎接了，我没有担心了。”到了山边，兵将不肯下山，说“：您把我们带到哪里去？”碰上先派出的二十人来了，声称“：阿弩越胡来迎接大军，我们已切断了娑夷桥。”高仙芝马上假装高兴，命兵将都下山。娑夷河就是弱水。走了三天，阿弩越胡真的前来迎接了。第二天，到达了阿弩越城。他派将军席元庆率精锐骑兵一千名先去，对小勃律国王说：“不攻你的城，我们路过到大勃律国去。”
城中大酋长都是吐蕃的心腹，高仙芝暗地命令席元庆说：“如果酋长们逃跑，就拿出诏书叫住他们，赐给他们绸缎，他们来了，就都绑起来等我处置。”席元庆按他说的做了。高仙芝到了，把酋长们都杀了。国王和妻子逃到山洞里去了，抓不到，高仙芝招降他们，他们才出来投降了，因此平定了小勃律国。他又赶快派席元庆去砍断了娑夷藤桥。当天傍晚，吐蕃兵来了，不能过河。藤桥长大约一箭地，需要一年才能建成。八月份，高仙芝带着小勃律王和妻子从赤佛路线回到连云堡，和边令诚一起率军归来。这时拂林艹、大食各族七十二国都震惊投降归附了。
高仙芝派判官王庭芬送捷报到京城。军队回到了河西，夫蒙灵察发怒了，不迎接慰劳他。见面后，骂道：“高丽奴才，于阗使你从谁那里得到的？”高仙芝害怕了，道歉说：“是御史中丞您的大力栽培。”他又问：“焉耆镇守使、安西副都护、都知兵马使，都是从谁那里得到的？”
高仙芝回答说“：也是御史中丞您的大力栽培。”夫蒙灵察说：“知道这些，捷报不经过我就敢上奏，是为什么？奴才该杀，看你刚立了功，饶了你。”高仙芝不知如何是好。边令诚秘密对朝廷报告了这事，并且说：“如果高仙芝立了功却忧愁而死，以后谁会为朝廷卖力呢？”皇帝就提升高仙芝任鸿胪卿、代理御史中丞，代替夫蒙灵察任四镇节度使，下诏命夫蒙灵察回京，他害怕了。高仙芝早晚拜见他，像过去一样行礼，他更惭愧了。副都护程千里，衙将毕思琛，行官王滔、康怀顺、陈奉忠等人都曾在夫蒙灵察面前说过高仙芝的坏话。高仙芝上任后，把程千里喊来骂道：“您外表是个男子，但内心却像个娘们，是为什么？”又对毕思琛说“：你夺走了我城东的一千石种子田，还记得吗？”毕思琛回答说“：是您赏给我的。”高仙芝说：“那时我怕你的威风，哪里是因可怜赏给你的呢？”他又把王滔喊来，想打他们，过了一阵，把他们都放了，说“：我的气出了。”因此全军都安心了。
不久又加封为左金吾卫大将军，赐他一个儿子为五品官。
天宝九年(750)，征讨石国，石国国王车鼻施投降了，高仙芝把他作为俘虏献到朝廷，把他杀死了，从此西域各国不臣服了。石国王子逃到大食，借兵到怛逻斯进攻高仙芝，来报冤杀他父亲的仇。
高仙芝生性贪婪，攻占石国后缴获了十几斛瑟瑟、五六匹骆驼驮运的黄金和很多好马宝玉，家财积累极多。但他也不很吝啬，有人求他就给，不管多少。
不久被封为武威太守，代替安思顺任河西节度使，当地各民族坚决挽留安思顺，就又改任他为右羽林军大将军，封他为密云郡公。安禄山反叛后，任命荣王为元帅，高仙芝做他的副手，率领飞骑、弓广骑和朔方等军队，又拿出皇宫的财宝招募关中士兵五万人，在封常清之后东征。皇帝到了勤政楼，叫荣王来接受任命，为高仙芝和部下设宴。皇帝又到望春楼慰问送行，下诏命监门将军边令诚为监军。走到陕郡，封常清战败逃回。
高仙芝急了，就打开太原仓，将所有库存物赏给兵将，烧掉了剩下的，率军赶赴潼关。等叛军来了，铠甲兵器物资粮食丢满了道路，长几百里。他到潼关后，训练士兵修理攻守用具，士气逐渐振作起来了。叛军进攻潼关攻不破，就退兵了。
此前，边令诚多次因事求高仙芝，高仙芝没有答应，因此边令诚就奏报他不敢进兵损失物资的情况来激怒皇帝，并说“：封常清说叛军强大动摇军心，而高仙芝放弃了陕郡几百里地，偷偷克扣士兵的粮食和赏赐。”皇帝大怒，命边令诚在军中将他们斩首。边令诚将封常清斩首后，把他的尸体放在席子上。高仙芝从外面回来，边令诚身后带着一百名长刀手，说：“御史大夫也有诏命处死。”高仙芝急忙下马，说：“我退兵是有罪，死罪我不敢否认。但认为我偷偷克扣赏赐和军粮，是诬蔑。”他对边令诚说：“上有天、下有地，兵将都在这里，您难道不知道？”
他又回头对部下说：“我把你们招募来，当然是想打败叛军多得重赏，但叛军力量正强，所以撤退到这里，也是为了加强潼关的防守。我如有罪，你们可以说，如没有罪，你们就喊冤枉。”全军都喊：“冤枉！”喊声动地。高仙芝看着封常清的尸体说“：您是我提拔的，又接替我当节度，我现和你一起死，难道是命吗？”于是被杀死了。