段秀实的字叫成公，陇州氵开阳县人。祖父段达，曾任右卫中郎。父亲段行琛，曾任洮州司马，后因段秀实赠官扬州大都督。段秀实生来极行孝，六岁时，母亲生病，他不吃不喝七天，母亲病好转了，才喝水吃饭。他长大后，沉着稳重有决断。
天宝四年(745)，安西府节度马灵察任命他为代理别将，随从讨伐护蜜国有功劳，封安西府别将。天宝七年(748)，高仙芝接替马灵察，派兵包围怛罗斯城，大食国救兵到，高仙芝大败，兵将失散，夜晚段秀实听见李嗣业的声音，就高喊道：“兵败逃命，不是大丈夫。”李嗣业很惭愧，就和段秀实一起召集失散的士兵，才又整编成军。部队归来，李嗣业对高仙芝请求，封段秀实为判官，授斥候府果毅官。天宝十二年(753)，封常清接替高仙芝，征伐大勃律国，军队抵达贺萨劳城，一接战就打赢了。封常清想追击，段秀实劝道：“敌军弱，是引诱我军的。请防备左右两边，搜索山间树林。”于是歼灭了敌军伏兵，因功改任绥德府折冲官。肃宗在灵武登基，征调安西军节度使梁宰，梁宰暗藏二心。段秀实对李嗣业说：“哪有皇上告急，臣子不动，却相信流言的，难道您也这样想？”李嗣业于是求见梁宰，请求派兵，梁宰同意了。就派出步骑兵五千名，命李嗣业率领奔赴朔方军。命段秀实为助手，多次立有战功。段秀实父亲去世，他悲痛守丧超出丧制。李嗣业已被任命为节制，想念段秀实像失去了左右手，上表请求征召复官，任命为义王友、节度判官。
安庆绪逃奔邺郡，李嗣业和各军包围了他，安西府辎重放在河内。于是上表任命段秀实为怀州长史，代理知军州事，加封节度留后。众军在愁思冈作战，李嗣业被流箭射中，死在军中，众将推举安西兵马使荔非元礼接替他。段秀实听说李嗣业去世，就写信给先锋将白孝德，叫他派兵护送李嗣业灵柩到河内，段秀实率将领官员哭着在边境等待，用自己所有的钱财办丧事。荔非元礼赞赏他讲道义，奏本任命为光禄少卿，并仍任节度判官。
邙山战败，军队转移到翼城，荔非元礼被部下杀死，将领也多数被害，但段秀实却用智慧保住了性命。众人推举白孝德任节度使，人心稍稍安定了。段秀实又升任光禄卿，做白孝德的判官。白孝德改任..宁节度使，奏本封段秀实为太常卿、支度营田两副使职。大军西行，掳掠经过的地方。又因..宁缺粮、运输困难，于是请求驻扎在奉天。此时国库也空了，县官担心害怕，多数逃跑躲藏了起来，军队成群偷盗，白孝德管不住。段秀实私下说：“让我当都虞候，应不致这样。”军司马转告了这句话，白孝德就任命段秀实为都虞候，代理知奉天行营事，命令严格统一，军队地方都安宁了，唐代宗听说后长时间赞叹不已。军队回到..宁，又任都虞候，不久任泾州刺史。
大历元年(766)，马瞞奏本封他为开府仪同三司。军队中有能拉开二十四石弓的人犯了偷盗罪，马瞞想赦免他，段秀实说：“将领有偏爱，法令就不一致，即使韩信、白起再生，也不能治理好。”马瞞认为他说得对，终于命令杀死了那人。马瞞决定的事中有不合理的，他一定坚持争辩，到马瞞认错为止。马瞞在泾州筑城，段秀实任留后，马瞞归来，加封段秀实为御史中丞。马瞞奉命移任泾州节度使，他的军队曾从西域四镇、北庭到中原勤王，在外地频繁调动，因辛苦很多人埋怨。刀斧将王童之见人心浮动，引诱他们叛乱。有人报告了这事，并且说：“严加戒备，他们约定以打更鼓声为号。”段秀实就把打更人召来，假装因时间不准发怒，告诫他们说：“每到一更筹码到了，一定要来报告。”每次报告，都命令延长几刻时间，四更打完天就亮了。军中报时不一致，王童之的叛乱不能发动。第二天，报告人又说：“今天晚上将烧草料场，约定救火人一齐叛乱。”段秀实命严密戒备。半夜火起，就派人到军队中发令说：“救火的杀头。”王童之住在外边营地，请求进来救火。段秀实不答应，第二天把他杀了。又逮捕杀死了他的同伙共十多人示众，发令说：“胆敢推迟迁移的人灭族！”这样就迁到了泾州。到了驻地，杳无人迹，军无粮食。朝廷担忧，就令马瞞兼管远处的郑、颍两州，供应泾原军，命段秀实任留后，两州治理得很好。马瞞根据他的功劳和才能，又奏本任命他为行军司马，兼任都知兵马使。
大历八年(773)，吐蕃入侵，在盐仓作战，唐军不胜。马瞞被敌军拦住，傍晚还没回来，败将乱兵争着回城。当时都将焦令谌和四五名将领狼狈归来，段秀实把他们喊来责备道：“按军法，丢失大将，部将应斩首。你们忘记了死罪想保全家庭吗！”焦令谌等人害怕了，跪拜了几十次。段秀实把城中全部没出战的士兵都调出城，命勇将率领，东靠高地，列阵向敌军表示要战斗，同时召集败散士兵。吐蕃军看见了，不敢靠近。到晚上，马瞞才回来。
大历十一年(776)，马瞞病重，不能管事，请段秀实代理节度副使兼任左厢兵马使。段秀实就命十将张羽飞任招召将，派兵警戒，以防意外。马瞞去世，他安排兵将们哭着到后堂去给他送丧，命李汉惠在前厅接待宾客，不是马瞞的亲人不许呆在灵柩边，聚集谈论背离朝廷自立的人都抓住关起来。都虞候史廷干，偏将张珍、崔景华阴谋叛乱，段秀实就把史廷干送到京城，把崔珍、张景华调到外地镇守，军队就安定了，没有杀一个人。不久任命段秀实为泾州刺史、兼任御史大夫、四镇北庭行军和泾原郑颍节度使。三四年中间，吐蕃不敢侵犯边关。他为人简朴坦率和气，远近的人都称赞他。不是因公聚会，他不奏乐喝酒，家里没有乐妓和小妾，没有多余的财产，回到家里，只是安居静思。德宗皇帝即位，加封为检校礼部尚书、张掖郡王。
建中元年(780)，宰相杨炎想实施元载过去的计划，修筑原州城，开挖陵阳渠，派宫中使者收集意见，于是问段秀实是否可行。段秀实认为春天不能征劳役，请求等待农闲。杨炎认为他反对自己的计划，就任命他为司农卿，派..宁节度使李怀光兼任泾原节度使，向西扩张。不久，刘闻喜叛乱，城也没能建。
建中四年(783)，朱氵此占据京城，源休教朱氵此假装迎接皇帝回京，阴谋杀害皇帝。朱氵此就派他的将领韩..率步骑兵三千人赶去奉天。当时变起仓促，皇帝身边没有军队。朱氵此因段秀实曾任泾原节度，很得军心，后被夺去兵权，以为他一定长期不满，必然愿意合作，就召他参与谋划。段秀实起初假装服从他，暗地劝说大将刘海宾、何明礼、姚令言的判官岐灵岳共同计划杀死朱氵此，率军迎回皇帝。这三个人，都是段秀实平生赏识的，他们都答应了。到韩..去追赶皇帝，段秀实认为国家危难，就在眼前，就派人跑去告诉岐灵岳，要他偷姚令言的印。没偷到，就倒盖司农卿的印在命令上去追回军队。韩..到骆驿接到了命令，军中人也没人细看印文，慌忙回来了。段秀实对刘海宾等人说：“韩..归来，我们就活不成了！我将直接打死叛贼，不成也自杀，死也不能对这叛贼称臣。”于是和刘海宾约定，情况紧急时来援助，命何明礼在外接应。第二天，朱氵此召见段秀实去商议事情，源休、姚令言、李忠臣、李子平都去了。段秀实穿着盔甲，和朱氵此挨着坐，朱氵此谈到称帝，段秀实突然起身，抓住源休手腕夺下他的象牙笏板，冲上前去，对朱氵此吐口唾沫大骂道：“狂妄的叛贼，我只遗憾不能把你砍成万块，我怎会跟着你反叛呢！”就用板打他。朱氵此举手挡住，只打中了额头，他头上流着血爬起来跑了。叛贼们惊呆了，开始还不敢动；但刘海宾等人没有来，段秀实于是说：“我不跟你们一起反叛，为什么不杀我？”叛贼们蜂拥而上，他于是被杀害了。刘海宾、何明礼、岐灵岳也相继被杀害。唐德宗在奉天听说了这事，叹惜对段秀实重用不够，流了好一阵眼泪。
当初，段秀实见禁兵人少，不足以应付突发事件，就上疏说：“我听说天子称万乘、诸侯称千乘、大夫称百乘，这是用大控制小，用十控制一。使国君尊显臣子卑下，是和树干强壮树枝细弱同一道理。现国外有不服从的异族，国内有不听命的臣子，我看到禁军不精锐，数量太少，突然发生祸难，用什么对付？况且猛虎之所以被百兽畏惧，是因为爪子和牙齿厉害。如果除去它的爪子和牙齿，那么狗猪马牛都能和它对抗了。请求稍加留意，希望有补于万一。”到泾原军叛乱，调神策六军，竟没一个人来。段秀实守臣下节操不变，竟然死在叛贼手里，他的明察勇敢于此可见。
兴元元年(784)二月，皇帝下诏说：“遇到危难不怕牺牲叫作忠，为正义勇于斗争叫作烈。你能尽臣下节操，献出了生命；我嘉奖你的功勋，重赏昭示天下。我不仁德，治理不善，遭此祸乱，都城兵变。你们臣下，失去依靠，威逼之下，鱼龙夹杂。已故开府仪同三司、检校礼部尚书、兼司农卿、上柱国、张掖郡王段秀实，品行杰出，忠诚本份，一身正气，勇敢仁德。以前曾守泾原，能行恩威，乱军知道守法，靠你精诚感动。叛贼朱氵此包藏祸心，用假话欺骗你，你谨守臣下的节操，看出贼首的用心，穿朝服去宫门，挺身入刀丛。发誓打碎贼首的头，为国君报仇，视死如归，英勇献身。啊，上天没有停止惩罚，因此功败垂成，但雄风壮举，吓坏了众叛贼。古有王虫蜀杀身保全节操，周..凛然陈词，我朝良臣，无愧于前贤。英名震动天下，义烈古今无双，足可激励民心，光耀历史。没有特别的赏赐，怎显出特殊的功勋，讨论封赏，特超出常规，颁布法令，树立风气。可赠官太尉，赐谥号为忠烈，通知史官，赐食实封五百户、庄园宅院各一处。长子封三品正员官，其余儿子都封五品正员官。停止上朝三天，收复长安以后，按礼仪安葬祭祀，在家乡立牌坊赐匾额。我按天意治理国家，管理百姓，一人不安心，就是我的过错。何况我因诚意威信没达到，多次外患内乱，使守义忠臣，陷身贼手。有的遇到危险牺牲生命，死得光荣；有的平叛立功，权变合乎道义，只要有利国家，死者生者一样，酬劳报答标准，怎会局限常例。委托有关部门访求他的事迹，继续报告，将增加奖赏，提升官爵。画像凌烟阁，功劳记史册，用以表彰我守节献身的臣子，流传万世。”
德宗回到京城后，又下诏书说：“赠官太尉段秀实，用他的贞节勇烈，改变人们不良风气，在突发事变时，秘密怀有决断。为了挽救国难，传假令退贼兵，挫败叛贼阴谋，以利调兵征讨。起身上前，奋勇击贼首，赫赫英名，万古不朽。应派官祭祀，并在家乡立牌坊赐匾额，葬礼需要的，全部官府供应。在墓地由官府树碑，用以表彰功勋。”从贞元后各皇帝只要发文奖励忠臣烈士，一定把段秀实放在首位。
他的儿子段伯伦，官当到太子詹事，大和二年(828)正月，奏本说：“已故父亲赠官太尉段秀实，按前后命令责成有关部门修祠建碑，现已完工，定于本月二十五日举行祭祀仪式。”
皇帝下诏说：“段秀实忠贞保卫国家，功勋应立祠祭祀，风范长存，流传千古。罕见功勋，应破格奖赏，赐绸缎五百匹，命度支拨给。仍旧命有关部门供给少牢祭品，并提供仪仗役夫，兼派太常博士一人核查。”不久加封段伯伦为检校左散骑常侍，兼任殿中监。大和四年(830)十一月，升任右金吾卫大将军，兼任御史大夫、街使。大和八年(834)七月，任检校工部尚书、福州建州等地都团练观察使，后又入京任太仆卿，直到去世。宰相李石上奏说：“段伯伦是段秀实的儿子。从古以来舍身保卫国家的，没人像段秀实这样杰出。”唐文宗难受地说：“段伯伦应增加丧葬待遇。”于是停止上朝一天，以表示对忠臣后代的敬意。