延熹四年（161年）冬，上郡的沈氐、陇西的牢姐、乌吾等种羌联合侵犯并、凉二州，段颎率领湟中义羌征讨。凉州刺史郭闳想要与段颎共享战功，故意拖延阻止段颎，使军队不得前进。而义羌跟随征战很久了，都思念家乡故旧，于是一起反叛。郭闳把罪责推到段颎身上，段颎因此被捕入狱，罚作苦工。羌虏更加猖獗，攻陷营坞，又互相勾结，扰乱各郡。于是吏民在朝廷为段颎申诉的有数以千计，朝廷知道段颎是被郭闳诬陷的，桓帝于是下诏询问段颎的情状。段颎只是请罪，不敢说受冤枉，京师都称其为长者。于是被赦出，再拜议郎，升任并州刺史。当时滇那等诸种羌五六千人侵犯武威、张掖、酒泉，焚烧人民的房屋。

延熹六年（163年），羌人的势力更加强盛，凉州几乎沦陷。冬天，朝廷再任段颎为护羌校尉，乘驿马赶到任所。

延熹七年（164年）春天，羌封眀、良多、滇那等豪帅三百五十五人率三千部落至段颎军前投降。当煎、勒姐种撤退后集结屯驻。冬天，段颎率兵一万余人将其击败，斩杀其大帅，杀死俘虏四千多人。

延熹八年（165年）春天，段颎又进击勒姐种，斩首四百余级，投降的有二千多人。夏天，进击当煎种于湟中，但被击败，被围困三天，段颎用隐士樊志张计策，悄悄在黑夜出兵，击鼓还战，大破羌军，杀虏几千人。段颎穷打猛追，辗转山谷间，从春天到秋天，无日不战，敌人因此又饥又困，各自逃散，北去侵略武威一带。段颎击败西羌，共斩首二万三千级，俘获数万人，马牛羊共八百万头，一万多部落投降。朝廷封其为都乡侯，食邑五百户。

永康元年（167年），当煎诸种又反，集合四千多人，想进攻武威，段颎又追击至鸾鸟，彻底击败他们，斩杀其主帅，斩首三千余级，西羌从此平定。

东羌先零种等自从大败征西将军马贤以后，朝廷便无力征讨，经常侵扰三辅。后来度辽将军皇甫规、中郎将张奂连年招降，总是投降了又反叛。桓帝下诏问段颎说：“先零东羌为恶反叛，而皇甫规、张奂各拥精兵，不能按时平定。想要你带兵东讨，不知怎样才合适，可不可以提出些策略呢？”

段颎上言说：“臣看到先零东羌虽然多次叛变，但已经大约有二万个部落向皇甫规投降。谁好谁恶，已经分清，剩下的寇虏不多了。现在张奂迟迟不前进，可能是怕敌寇外离内合，派兵前往，投降的就会惊恐。并且他们自冬到春，集结驻扎不散，人马疲乏病弱，这是一种自亡的形势，只要抓紧招降，可以不发一兵而制服强大的敌人。臣认为狼子野心，不容易用恩德结纳，他们走投无路时，虽然降服，但一收兵，他们又会骚动起来。只有用长矛挟胁白刃加在他们的颈上他们才会害怕啊！估计东种所剩三万多部落，靠近塞内，道路平坦，没有燕、齐、秦、赵纵横的形势，但他们长时间骚扰并州、凉州，累次侵犯三辅，西河、上郡，已经各自迁入塞内，安定、北地又单薄危险，从云中、五原，西至汉阳二千多里，匈奴、种羌已全部占领。这好比毒瘤暗疾，留在胁下，如果不加诛灭，很快就会壮大。现在如果用骑兵五千，步兵一万，车三千辆，二三年的时间，完全可击破他们，平定他们，也不用担心用费五十四亿。这样，就可以使群羌破尽，匈奴长服。迁入塞内郡县的，可以返回本土。臣想永初年间，诸羌反叛，十有四年了，用费二百四十亿；永和末，又经七年，用八十多亿。花了这么多金钱与时间，还没有杀尽，余孽再起，到如今还在为害，现在如果不暂时疲劳民众一点，那么就永远无安宁之日。臣愿意竭尽驽钝之才，敬候节命调度。”桓帝嘉许他，完全听从他的上言。

建宁元年（168年）春，段颎带兵一万多人，携带十五天的粮草，从彭阳直往高平，与先零诸种战于逢义山。羌兵多，段颎的部队害怕起来。段颎命令军中拉紧弓弦，磨快刀枪，长矛三重，挟以强弩，左右两翼，布置轻骑，激励兵将说：“现在我们离家几千里，前进，事业就成功；逃走，死路一条，大家努力共取功名吧！”于是大呼喊叫，军队应声跳跃上阵，段颎驰马在旁，突然袭击，羌军崩溃，共斩首八千余级，获牛马羊二十八万头。

这时窦太后临朝当政，下诏说：“先零东羌历年为害，段颎从前陈述情况，认为必须扫灭。他履霜冒雪，白天晚上快速行军。身当矢石，使战士感奋。不到十天，敌寇便逃跑溃散，尸体相连，活捉不少，掳获无法统计。洗雪了百年来的败恨，安慰了忠将的亡魂，功劳显著，朝廷极为嘉赏他。等到东羌完全平定，应当一起记他的功勋。现在暂时赐段颎钱二十万，用他家一人为郎中。”同时下令中藏府调拨金钱彩物，增助军费。任命段颎为破羌将军。同年夏，段颎再追击羌出桥门，到走马水上。不久，听到消息，虏在奢延泽，于是率轻快部队快速前进，一日一夜走二百多里，早晨追到贼，击败了他们，剩下来的寇虏，逃到落川，又集合起来。段颎于是分别派骑司马田晏率五千人出其东面，假司马夏育带二千人绕其西面，羌兵分六七千人围攻田晏等，田晏等与其战斗，羌人溃散逃走。

段颎率军急进，与田晏等一起追击于令鲜水上。段颎士卒又饥又渴，于是命令部队齐头并进，夺其水，羌人又溃散逃走。段颎尾追其后，羌人边战边退，一直追到灵武谷。段颎披甲率先上阵，战士没有敢于不前的。羌人大败，丢弃武器逃走。追击了三天三夜，战士的脚起了层层厚茧。一直追到泾阳，羌人余部四千部落，全部分散进入汉阳山谷之间。

这时张奂上言：“东羌虽已残破，余种还不易消灭，段颎性情轻浮而果敢，臣担心他吃败仗，难保常胜。应当用恩信招降，才没有后悔。”诏书下达段颎，段颎又上言说：“臣本来知道东羌虽然兵多，但软弱容易制服，所以近陈愚见，想为永久安宁的计策。而中郎将张奂说羌虏强不易击败，应该招降。陛下圣明，相信并采纳了臣的没有远见的话，使臣的谋划得以实现，不用张奂的计策。事实与张奂所说的相反，张奂于是心怀猜恨。信了叛羌的话，而又修改了他们原来的词意，说臣的兵多次伤败，又说羌也是秉天之一气所生，是杀不尽的，山谷广大，不可空静，血流遍野，伤和气，招灾祸。臣想周秦之际，戎狄为害；光武中兴以来，羌寇很强盛，杀也杀不尽，已经投降，又反叛。现在先零杂种，反复无常，攻陷县邑，剽劫人物，掘冢抛尸，不管生的死的，都受他们的祸害，老天震怒，借臣的手以讨伐。从前邢国无道，卫国讨伐它，出兵而天降霖雨，解缓了旱灾；臣进军经炎热的夏天，接连不断获得好雨，年岁丰收，人民没有疾疫。上占天心，不降灾伤；下察人事，很得人心，所以能够打胜仗。自桥门以西、落川以东，原来的官府县邑，连续不断，不是深险绝域的地方，兵车骑兵行走安全，没有伤败。张奂身为大汉官吏，身为将领，驻军两年，不能平定寇乱，只想修文，不想用武，招降凶猛的敌人，荒诞无稽的空话，大而无益。为什么这么说呢？从前先零寇边，赵充国把他们迁到内地；煎当扰边境，马援把他们徙到三辅，开始归服，最后还是叛变了，至今为害。所以有远大眼光的人，认为这是最可忧的。现在边郡户口稀少，屡次被羌人侵害，想要投降的寇虏与平民杂居，正如种植多刺的枳木和棘木于良田中，养毒蛇于室内一样，多么危险啊！所以臣遵奉大汉的声威，建立长久的策略，要斩断根本，不能让其再度繁殖生长，原来计划三年的费用五十四亿，现在还刚刚一年，花耗不到一半，余寇已成残焰，不久即可消灭。臣每次奉诏，而军队在外，不可由内指挥，希望完全如这句话说，任臣专责，临机应变，不失权宜。”

建宁二年（169年），朝廷派谒者冯禅劝说汉阳散羌投降。段颎认为正是春播时间，百姓都在田野劳动，羌人虽然暂时投降，公家没有粮食，羌虏一定再要为盗贼，不如乘虚进兵，势必消灭。

夏天，段颎自己进营，离羌驻扎的凡亭山四五十里，派田晏、夏育率领五千人据守山上。羌人全军发起攻击，厉声问道：“田晏、夏育在这里不？湟中投降的羌都在何面？今天要决一生死。”军中害怕，田晏等激励士兵，拼命大战，击败羌人。羌军溃散，向东逃跑，又聚集在射虎谷，分兵把守各谷上下门。

段颎计划一举消灭，不使他们再逃散了，于是派千人在西县结木为栅，广二十步，长四十里，阻拦他们。分派田晏、夏育率七千人，悄悄地黑夜上西山，构筑阵地，离羌人一里许。又派司马张恺等率三千人上东山。羌人发觉，向田晏等进攻，分别遮堵汲水道。段颎自己率步兵、骑兵进击水上。羌人退走，段颎于是与张恺等挟东西山，挥兵进击，羌人大败并溃散。段颎追至谷上下门穷山深谷之中，处处击破。斩其主帅以下一万九千人，获牛马骡驴毡裘庐帐什物不可胜数。冯禅所招降的四千人，分别安置在安定、汉阳、陇西三郡，至此东羌全部平定。段颎自出征来共一百八十战，斩敌首三万八千六百余级，获牛马羊骡驴骆驼四十二万七千五百余头，用费四十四亿，军士战死四百余人。朝廷改封段颎新丰县侯，食邑万户。

建宁三年（170年）春天，朝廷召段颎还京师，并带秦、胡步兵骑兵五万多人和汗血千里马，俘虏万余人。灵帝派大鸿胪持节在镐迎接慰劳。部队到达后，灵帝任命段颎为侍中，调任执金吾、河南尹。后来，因为有盗贼挖掘了冯贵人的墓冢，段颎于是获罪被降为谏议大夫，再升任司隶校尉。段颎依附宦官，所以能够保住富贵，又与中常侍王甫等结为党羽，冤杀了中常侍郑飒、董腾等人，因而增邑四千户，加上从前的共一万四千户。

熹平二年（173年），代李咸为太尉，同年冬天因病罢免，再为司隶校尉。数年后，迁任颍川太守，被征授太中大夫。

光和二年（179年），又接替桥玄为太尉。在位一月多，因发生日食而上奏弹劾自己，有关部门上奏检举，诏命收其太尉印绶，并送廷尉受审。当时司隶校尉阳球上奏诛杀王甫，牵连到段颎，于是就在狱中诘问责斥他，段颎于是服鸩自杀，家属也被流放边境。后中常侍吕强上疏，追诉段颎的功绩，灵帝才下诏将段颎的妻子儿女归还本郡。

建中三年（782年），唐德宗追封古代名将六十四人，并为他们设庙享奠，当中就包括“太尉新丰侯段颎”。宣和五年（1123年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括段颎。在北宋年间成书的《十七史百将传》及明代成书的《广名将传》中，段颎亦位列其中。

段颎与皇甫规、张奂都声名显达，京师称为“凉州三明”。他行军以仁爱为本，士卒有疾病，总是亲自慰问、裹伤。在边境征战十余年，没有睡过一晚好觉，与将士同甘共苦，所以军士都愿为他死战。其主要军事活动如下：

曹魏太尉贾诩早年被察孝廉为郎，因病辞官回乡，途中遭遇叛乱的氐人，他和同行的数十人一起被氐人抓获。贾诩说：“我是段公（段颎）的外孙，你们别伤害我，我家一定用重金来赎。”因段颎久为边将，威震西土，所以贾诩便假称是段颎的外孙来吓唬氐人，叛氐果然不敢害他，还与他盟誓后送他回去，而其余的人却都遇害。