1916年日军悍然挑起中日军事冲突，制造“郑家屯事件”，日方提出种种无理要求，北京政府接受驻华日本公使的“警告”，吴俊升被迫屈服承认，赔礼道歉。

1916年5月，二十七师师长张作霖与二十八师师长冯德麟为争“奉天王”秣马厉兵，吴俊升向张作霖表示：“若大帅想打（指打冯），俊升带兵打前敌。”冯因附张勋复辟被解职，由张作霖兼任二十八师师长。

1917年6月，张作霖将后路巡防营与骑兵第二旅合并，改编为陆军第二十九师，任命吴俊升为师长，以报答吴助臂之功。吴对张表示：“虽不能同生，但愿同死。”同年10月，吴俊升受张作霖派遣进驻齐齐哈尔，解除黑龙江省驻军旅长巴英额、英顺的兵权。

1919年7月，吉林督军孟恩远被解职，以鲍贵卿继任，孟不服，孟的外甥吉林师长高士傧请收回罢免孟的成命，并兴师讨伐张作霖。张任命孙烈臣为东三省南路总司令，吴俊升为北路总司令，进行夹击，高士傧被撤职查办，孟只好交出吉林政权。

1921年3月，孙烈臣调任吉林省督军兼省长，由吴俊升署黑龙江省督军兼省长，6月加陆军上将衔。从此，以江省为基地，发展地方势力，实行军阀统治。他统治黑龙江达七年之久，极力驾驭部下，培植爪牙，把江省变成吴家天下，百般弄权，简直就是当地的土皇帝。民间盛传“石家兄弟，刘家外甥，靖家有旅长、县长，董家有厅长、道尹”。

1922年4月至5月的第一次直奉战争以奉系失败而告终，5月10日北京政府免去张作霖本兼各职，任命吴俊升为奉天督军、冯德麟为黑龙江督军。直系吴佩孚想以山东同乡同族关系拉拢吴俊升，离间分化张作霖旧部，吴俊升不为所动。张作霖于5月12日宣布东三省独立，自任奉军总司令；吴俊升、冯德麟等通电否认北京政府命令。6月8日，东三省议会联合会推举张作霖为东三省保安总司令，孙烈臣、吴俊升为副司令(孙、吴仍任吉林、黑龙江督军)，正式宣告联省自治。保安司令部于7月16日组成，下设七处。旋又设立东三省陆军整理处（后改陆军训练处），实行整军经武，加强备战。同时奉系与孙中山及皖系取得联系，以采取一致行动，共同对付直系，此即所谓的反直“三角同盟”。吴俊升作为张作霖的伙伴，一切遵照张的旨意。8月，黑龙江亦成立军事训练处，由吴兼任督办。

由于曹锟贿选总统，吴佩孚坚持武力统一，遭到全国人民反对，直系内部因内阁等问题也起分化，奉张乘机倒直已成不可免之事。1924年9月初，直系江苏督军齐燮元联合福建的孙传芳，向皖系的浙江督办卢永祥发起进攻，江浙战争爆发。孙中山、段祺瑞等通电支持卢永祥，张作霖借口援卢，迅速调集十七万人马，编成六个军，于9月15日向山海关、热河进发。直系以吴佩孚为总司令迎敌，17日第二次直奉战争打响。吴俊升任奉系第五军军长，率二十九师及两个混成旅攻占开鲁，进逼赤峰待命，并将留守部队均配置江省各要冲，巩固后方。是役奉军占明显优势，而直军冯玉祥又于10月23日发动北京政变，使吴佩孚腹背受敌，全军主力丧失殆尽，万不得已，于11月2日率残部二千余人乘舰南下。

第二次直奉战争之后，奉张与冯玉祥的矛盾逐渐扩大，各方调和的结果是把段祺瑞重新推上政治舞台，任中华民国临时执政。1924年12月，令吴俊升督办黑龙江省军务善后事宜。1925年元月，吴将省防军改为保卫团。2月，“善后会议”开幕，吴俊升为善后会议会员之一。3月，东北军再次整编，吴兼任第十八师师长。

1925年10月，吴俊升奉张作霖命令，指挥万福麟、穆春、张九卿等部骑兵，向多伦、张家口进军，袭击冯玉祥西北军后路。11月下旬，接到张作霖关于郭松龄在滦县倒戈反奉的告急电，吴俊升立即从热河班师助张。张作霖派吴为“讨逆”军总司令兼左翼军司令。12月，吴亲至前线督阵，他所指挥部队除一部增援张作相的右翼外，其余均在左翼，形成夹击郭军态势。23日，巨流河决战，郭军受挫，由胜转败。24日，吴部骑兵更乘机袭击郭设在白旗堡的指挥部，郭松龄夫妇潜逃，被穆春骑兵师王永清团追上俘获，傍晚押在新民老达房（今老大房）一烧锅（酒厂）院内。25日，郭被害于老达房村外五里许辽河沿地。29日，张作霖在帅府召开讨郭善后会议，吴俊升等一些老派人物认为附“逆”的这些东西都是“郭鬼子”（郭松龄外号）一手训练出来的，将来恐怕靠不住，不如将他们一网打尽，坚持主张“刑乱用重，此辈叛徒，不（宜）轻恕”。

1926年1月，奉张与冯玉祥的国民军再战，7月吴俊升部先后占领榆树沟、沙门口和多伦。时北伐军已从广东出发，接连在两湖、赣闽战场取得胜利。为了挽救北洋军阀即将灭亡的命运，解决北方统一及对南用兵问题，张作霖屡次召开会议，吴俊升、张作相等老将希望保境安民，而张宗昌及少壮军官则要求以援吴（佩孚）、援孙（传芳）、“讨赤”为名，夺取被援助者土地。后孙传芳因被北伐军战败投奉。1926年11月，在天津蔡园会议上吴俊升与孙传芳、张宗昌等十六名将领联名通电，推举张作霖为安国军总司令。张于12月就职，随即出兵河南及苏、皖，吴俊升、张作相负责巩固后方。

1927年6月，吴俊升、孙传芳等再次拥戴张作霖为中华民国陆海军大元帅，组织安国军政府，其军队统称安国军，吴俊升任第七军团军团长。9月，齐齐哈尔人民示威游行，反对日本在临江设领事，吴派大批军警进行弹压。10月，吴被任命为东三省边防司令兼保安总司令。翌年1月，以通化为中心的东边道大刀会暴动，反对封建军阀和日本帝国主义侵略，吴亲自率部配合宪兵司令齐恩铭督“剿”，残酷屠杀大刀会员和无辜农民三千余人，烧毁民房数千间。

1928年4月，国民党继续北伐，蒋（介石）、冯（玉祥）、阎（锡山）、李（宗仁）的一、二、三、四集团军向张作霖的安国军进攻，安国军节节败退，吉、黑增援军已赶到关内，张作霖派吴俊升率领至德州布防，旋决定放弃德州，命吴在榆关设后方总司令部，吴于5月上旬偕张作霖家属回奉。张作霖见大势已去，决定退回关外。日本政府乘机要挟奉方解决“满蒙悬案”，未得满意回答，日本军方必欲除掉张作霖。张于6月3日夜乘专列返奉，吴俊升得报即同莫德惠等前往山海关迎接，并同车北行。4日晨五时二十七分，列车行至皇姑屯三洞桥铁路交叉处，突然被日本关东军高级参谋河本大作等设伏炸毁。张作霖重伤送至大帅府，当日死去。吴俊升头部被一硬铁扎入，脑浆外溢，当即身亡，终年六十五岁，正应了“但愿同死”一语。

清王朝被推翻后，帝国主义乘中国政局动荡，唆使中国反动势力策动“满蒙独立”。为拼凑“勤王军”，日本陆军大尉松井清助于1912年6月护送50大车枪械弹药至郑家屯时，被吴俊升派出的探子获知，随后吴俊升半路截杀，弹械被全部炸毁，打死日本侵略分子13名，叛匪9人，松井受重伤。此后日军数次偷运军火，都被吴俊升截击击遗。吴此举沉重打击了日本帝国主义策动的第一次“满蒙独立运动”。

与此同时，沙俄也支持内、外蒙古叛匪在东北窜扰：同时给予枪支弹药等装备及人员支持。沙俄派人游说吴俊升，以东蒙古王位、上将军及5万卢布诱使。吴俊升对此嗤之以鼻，置之不理。早在1912年4月28日，与沙俄就有勾结的内蒙古哲里木盟扎萨克图旗（今科右前旗）郡王乌泰，秘密派遣色楞旺保台、锡勒图喇嘛等前往库伦，向“大蒙古帝国日光皇帝哲布尊丹巴”表示“诚心归顺”，并愿意做南下、东进的先锋。哲布尊丹巴任命乌泰为“进攻中华民国第一路总司令”。乌泰得到这个任命后，暗地准备武器，组织、纠结反叛分子。7月31日，为帮助与配合蒙古郡王乌泰举兵叛乱，沙俄卖给扎瓦特、杜尔伯特等旗大批枪械弹药。8月20日，在沙俄与外蒙分裂分子的煽惑下，乌泰经过长期策划，在归流河南岸举兵叛乱。叛兵分三路向祧南、开通（今通榆）、突泉进发。同时发布《东蒙古独立宣言》，声称“今库仑皇帝派员劝导加盟，并由俄国供给武器弹药，兹宣告独立，与中国水绝”。科右后旗镇园公喜敏珠尔追随乌泰同时叛乱，并采用里应外合的办法占领镇东县（今镇赉县之一部）城。后该县知事曾收复县城。8月下旬，乌泰叛军所到之处，践踏农田，没收汉民田园财产，肆行烧杀，残酷暴虐，惨不忍闻。

9月7日，吴俊升所部巡防营830余人，自郑家屯开赴洮南，与乌泰叛军展开激战，叛军伤亡惨重，四处逃散，乌泰本人逃跑。8日，吴俊升部克复嘎喜喇嘛庙。乌泰所部叛军遭到重创后，迁怒于当地汉族居民，杀害镇东县商民300余人，焚毁房屋，掠夺财物，奸淫妇女，惨烈异常。9月13日，吴俊升所部奉军攻克乌泰叛乱据点葛根庙，并克复乌泰王府。乌泰携全家老小败逃索伦山，叛乱基本平息。10月16日，吴俊升因剿灭乌泰叛匪有功，晋升为陆军少将，授勋五位，获四等嘉禾章。12月获三等文虎章。吴俊升平乌泰叛乱之胜利，粉碎了沙俄分裂中国的阴谋，维护了国家的统一和民族团结。吴俊升也因此以骁勇善战，剿匪严厉果敢扬名，威震塞外。

1913年5月，吴俊升被授予陆军中将衔。8月，外蒙叛军4000余人在沙俄唆使下进犯辽源（今吉林省双辽县），被吴击败。9月18日，外蒙古军队千余人进犯辽源，被奉军统领吴俊升部击败。吴因功得二等文虎章，晋勋三位。12月吴被提升为林西、经棚地区守备司令官。

1914年3月吴升为祧辽镇守使，驻节祧南，负责追剿蒙辽匪类。1915年初，日本帝国主义分子再次进行分裂中国的罪恶活动。9月28日，俄驻海拉尔领事派员给蒙匪头目巴布扎布递送函件，赠送自来德手枪24支，并代为向日本购买挟枪1万支。自此巴匪声势日盛。11月29日，该巴匪被多仑镇守使击溃，窜至洮南、海拉尔一带。后日本唆使巴布扎布于1916年1月、7月多次窜扰祧南，并攻陷突泉县城。1916年1月11日，巴布扎布所部百余人在康平与吴俊升所部交战，巴布扎布所部三名匪首被擒杀。7月1日，巴布扎布率部3000余人，在日军大尉青柳胜敏的指挥下，向祧南方向窜扰。7月24日，巴布扎布自称宗社党首领，率部攻陷突泉县城。26日，吴俊升部将该县城收复。巴匪被吴俊升部击败，向梨树县郭家店逃遁。8月17日，巴布扎布率部占据梨树县郭家店。20一21日奉军第二十七师张景惠团与吉林军警联合进剿，巴部势不能支。日军守备队以子弹飞入铁路附属地危害火车安全为借口，出面干涉，酿成“郭家店事件”。21日，日本关东都督照会张作霖，要求将四平街至郑家屯沿线三十里内中国军队全数撤离，张作霖被迫下令包括吴俊升部在内撤军。随后，日军占据郑家屯中国兵营装设电话线，张作霖电请外交部向驻京日使交涉。9月2日，前后11天，巴布扎布率部进至怀德县境在新开河口朝阳坡、大榆树、毛家城子等地烧杀抢掠，杀害居民70余人，被抢900多家，焚毁房屋200余间，各种财物损失达100余万元。13日，巴布扎布所部在日军护送下，一路烧杀抢掠，是日在怀德县朝阳坡被当地驻军包围。日军又以子弹穿射日本国旗为借口，开枪寻衅，出面干涉。次日，日军500余人开赴该地，当地驻军被迫撤离。18日巴布扎布率部在长岭县喇嘛苍与驻军冲突。25日，进攻瞻榆等地，被奉天、黑龙江两省军队击溃。吴俊升督队与巴匪连战皆捷，并会同其他部队围剿，于10月7日击毙巴布扎布，终将巴匪一举全歼。吴因功授勋二位，获二等嘉禾章、一等文虎章、一等宝光章。

1915年东北总督张锡銮退职后，张作霖向袁世凯要求继任总督一职。当时，袁世凯正在策划复辟帝制，为确保东北政局的稳定，派自己的亲信段芝贵任东三省总督兼奉天督军，遂引起野心勃勃的张作霖的不满，便乘袁世凯深陷帝制的垂危之际，利用“奉天人治奉天”的名义，开始驱逐段芝贵。在驱段斗争中，吴俊升也积极参领其事。

张作霖当上奉天将军之后，冯德麟极为不服，联合汤玉麟，起而反张。对此，吴俊升表面上保持中立，并鼎力从中调解。实际上却在暗中帮助张作霖，多次劝告冯德麟“屈就”奉天军务帮办的职务。汤玉麟起兵反张之后，冯德麟策动吴俊升起而响应，吴俊升却坚决站在张作霖一边，使冯、汤的反张斗争很快失败。张作霖为了酬谢吴俊升，将其部队扩编为陆军第29师，将吴俊升升为该师师长。

张作霖统一了奉天军政之后，又着手谋取吉、黑两省的军政大权。吉、黑两省在辛亥革命后，摆脱了奉天总督的管辖，正式取得了与奉天同等的地位。张作霖为了恢复总督的权利，首先夺取了时局混乱的黑龙江省之军政统治权，然后派遣一向听命与他的盟兄吴俊升率所部29师进驻黑龙江，为他看守北部地盘，形成了对吉林夹击之势。在张作霖夺取吉林的过程中，吴俊升被张作霖任命为北路军总司令，率队由大赉向南推进，配合默契使得张作霖又迅速地夺取了吉林的大权，终于实现了称霸东北的战略计划。为了酬谢其帮助统一东北的汗马功劳，当孙烈臣由黑龙江调往吉林任职时，张作霖向北京政府举荐他继任了黑龙江省督军兼省长之职。

1925年11月，郭松龄起兵反奉，以闪电的速度向奉天推进。当时留守奉天的部队多是些未经正规训练的乌合之众。战斗一打响，张作霖非常惊惧，奉天陷落指日可数。当时吴俊升正在奉天城，为了救张作霖帅驾，他于12月1日星夜赶回黑龙江省会齐齐哈尔，连夜在督军公署召开要员紧急会议，吴俊升就当时的形势向与会者作了报告，并向部属亲友作了出征告别。当时，有人暗示他应发表黑龙江省独立宣言，乘此千载难逢之机摆脱奉系张作霖的控制，于黑龙江省割据称王；也有人为维持黑龙江省治安，劝止他出征奉天。但他却坚决表示：“为保境安民，发表独立宣言，将我留在黑龙江省不是上策。我和张作霖从来就有着同生死共患难的交情。此刻，不管谁怎么说，除出征奉天别无他路。”12月6日，黑龙江驻军主力奉吴俊升之命迅速集结于齐齐哈尔，吴在出征动员会上发表了“奉天一旦落入敌手，决心在黑龙江的土地上迎击敌人，为张作霖复仇打到底”的誓言。12月12日晨，吴俊升亲率部队开赴奉天前线。吴俊升率部回到奉天后，与张作霖、张作相经过一番周密布置，便亲率一个骑兵旅离开奉天，冒着严寒风雪向正西长驱两昼夜赶至新民屯，突然出现在郭军的背后，袭击了郭军司令部所在地一一白旗堡，纵火焚烧了郭军之粮草、弹药。郭军遭到突然袭击之后，全线崩溃，四处逃散，郭松龄夫妇亦被抓获，终于平息了郭松龄反奉事件。

吴俊升四十岁以后开读《三字经》，曾自书“自古名将爱良马，从来美人属英雄”，送日人早川正雄。吴作为军阀，集强悍、愚昧、荒唐、贪婪于一身。他依仗权势，搜刮民脂民膏，财产不计其数，在东北除张作霖之外，吴俊升数第二号财主。吴占有土地之广，真乃洋洋大观，良田竟达二十七万垧之多。他大兴土木，建公馆多处，在奉天（沈阳）小河沿上坎山神庙地有之（今沈阳市大东区委），在郑家屯吴辕门处有之（今吉林省双辽县公安局），在北京北皇城根（地安门）有之，在大连黑石礁有之，而督军府在齐齐哈尔（今解放门北齐市建华区委）。吴还广办工商业，有绥滨火犁公司、齐齐哈尔广信公司（合办）、广信烧锅、油房杂货栈、钱庄银号及黑河金矿和典当多处。家养三千匹蒙古马，上百头双峰驼，放牧在齐齐哈尔、洮南等草甸子上。养猴子多达四十余只，每出巡得用两节车厢随车供其玩赏。

1996年电视剧《远东阴谋》曹杰臣饰演吴俊升。

2016年电视剧《少帅》马文波饰演吴俊升。