后藤新平并没有因此次的挫折和打击而沉沦堕落，他的东山再起也正是与其操守医生旧业息息相关。1894年中日甲午战争爆发。军医总监黑石忠憨推荐他到明治天皇所在的广岛大本营工作，直到签订和约，战后建议检疫是当前的紧急任务，于1895年4月任陆军检疫事务官长，时任陆军次官的儿玉源太郎看到他非常勤奋努力从事工作，遂把他记在心中，同年9月重任卫生局长，再任2年半，致力于内务行政及卫生设备的革新改善，与北里柴三郎共同创立了预防传染病研究所。

1898年儿玉源太郎出任台湾总督府的长官，他就邀请了后藤新平随其一道到台湾，担任台湾总督府的卫生顾问，3月又被破格拔擢为民政长官。在儿玉源太郎的宠信之下，后藤新平的才干得以充分的展示。后藤新平以自己的专业特长，开始推动医疗、卫生等领域中的改善，并且着手于台湾地区自来水和地下水道的建设规划。1898年，后藤新平出任台湾总督府民政长官后，更提出“生物学原则的殖民地经营法则”思想。对这种所谓的“生物学原则”后藤新平作了如下比喻和阐述：“比目鱼的眼睛不能改变成赤鬃鱼的眼睛，赤鬃鱼的眼睛对称地长在头的两边；而比目鱼的眼睛则双双长在头的一侧，不能因其形状的古怪，就要把他的眼睛像赤鬃鱼那样改装在头的两边。比目鱼的两只眼睛长在一边，这在生物学上是因为有其必要，才会这样。……政治上这一点也很重要，……所以本人在统治台湾时，首先把该岛的旧贯制度好好地做了一番科学调查，然后顺应民情施政……。不了解这个道理，而想把日本国内的法制输入到台湾实施的那些家伙，也就等于要把比目鱼的眼睛突然改变成赤鬃鱼的眼睛根本是不懂真正政治的家伙……”。事实上后藤新平为了能够把日本政府对外扩张的殖民统治政策迅速地融入到台湾当地及民众之中，便急不可耐地开展对台湾的旧制、土地资源、人口构成状况和民俗风情进行大规模细致的调查，并在调查研究的基础上制定了对台湾的统治政策和法律制度。

他首先废除了前任总督乃木希典的“三段警备”的统治模式，排除军队对地方治安的管理，加强警察的势力，以强化地方治安。台湾的“警察政治”是由后藤新平所创立的一种渗透于民间，而无孔不入、无处不在的统治形式。以至当时当地的民众对警察的恐惧达到谈虎色变的程度。更有哭嚎的孩子一听到“警察”二字，便会立即止声而泣。1898年8月，后藤新平颁布了“保甲条例”，从而把始于明朝末年郑氏政权时代，清朝初年奠定基础的保甲制度，进一步给予了强化。在这个条例中，加强了警察的管理作用，突出了当地居民之间的连带责任。使之能够相互监视，相互告密等。后藤新平的这个保甲制度的实行，对维持台湾的地方社会治安发挥了强大的威力。在同年11月，后藤新平又颁发了“匪徒刑法令”。有人在评论这部法令时说，其“有如秋霜烈日”。自后藤新平就任总督府民政长官始至1902年短短的5年间，在这部法令下被处死的台湾民众就有33000多人，该数字超过当时台湾总人口的百分之一。

后藤新平一方面对台湾的民众实施苛酷的鞭挞，但在另一方面又施以怀柔政策，以所谓的“治台三策”为幌子，玩耍猫哭老鼠的伎俩，处心积虑地推行帝国主义的殖民统治政策。在对台湾的经营中，他将其“生物学的殖民地经营原则”发挥得淋漓尽致。后藤新平以“渐进同化”为目标，大力推行统一台湾的币制，以促进金融与商业的流通；同时还推动各种交通运输企业及铁路、海港、公路等交通设施的建设；开发水利与火利发电厂，从而奠定了台湾发展工业的动力基础；他还在台湾原本就有良好基础的蔗糖业中，引进新式制糖技术、经营模式以及大量资本，促使台湾的蔗糖和稻米产业有了很快的发展。儿玉源太郎虽然是这一阶段的台湾总督，但他又于1900年12月兼任了伊藤博文内阁中的陆军大臣；1903年7月出任桂太郎内阁的内务大臣；1904年日俄战争爆发后，又即任满洲军总参谋长。因此，有“缺席总督”的称谓。从1898年至1906年的8年间，在台湾地区积极推行日本殖民统治政治的魁手就是时任民政长官的后藤新平。由于其所谓的政绩，获得了“殖民地经营家”的称谓。1903年8月成为贵族院议员，1906年封男爵，立铜像以旌其功。

后藤新平作为一位殖民地的经营开发者，其出发点自然是不会为殖民地的民众谋取社会福利的。相反这些开发却带有强烈的剥削压迫和掠夺的性质。比如他所竭力建设的阿里山登山铁路的开发，其实就是着眼于丰饶的森林资源；而大量的日本国内资本大量流向台湾的蔗糖业，则使得台湾本土的糖商与蔗农受尽了盘剥。后藤新平就曾多次于不同的场合提出过这样的观点，殖民地的行政计划在进步的情况下，应不失时机地根据生物学的原则，发展农业、工业、卫生、教育、交通、警察等，如果上述各项均能够完成，那么就完全可以在生存竞争中获得保全及胜利。

1906年，受儿玉源太郎的举荐，后藤新平出任南满洲铁道株式会社首任总裁。期间更以“举王道之旗行霸道之术”，提出“文装的武备”这一殖民主义统治政策。使南满洲铁道株式会社的经营扩张一步步发展起来。

筹建满铁时，日本政府曾规定满铁受关东都督监督，同时还要受外交大臣的指挥，政府和现地军部均可干预其业务。对此，后藤新平强烈反对，他要求满铁兼任关东都督顾问，政府不干涉选任满铁副总裁和各理事，得到日本政府许可，总揽了日本在我东北的殖民统治大权。为更有效地掌握地方行政大权，他要求日本政府任命满铁副总裁为关东都督府民政长官。当时，满铁本社设在大连，关东都督府设于旅顺，日本政府偏重经营大连，默认了后藤新平的要求，确立了以大连为中心发展满铁事业的方针。由于设在旅顺的关东都督府由军部把持，军部到处设立“陆军用地”、“海军用地”的界牌，后藤新平指责旅顺患了“军人病”，提出“旅顺解放论”与军部相对抗。1908年，他又进一步提出“举王道之旗行霸道之术”的殖民政策，在发展经济的同时，发展殖民教育、文化、卫生等事业，以征服人心，构成潜在军备。大连的病院、旅顺工科大学、满铁中央试验所以及新闻机构等设施，都是他的殖民政策的产物。此后，满铁以大连为殖民扩张轴心，把投资重点放在大连，扶植南满铁路的运营，续建、扩建大连港口，大力发展工业，开展贸易，兴办教育，使大连按照他设计的殖民地模式发展起来。

1904年初日俄战争爆发前，后藤新平从德国一著名钢铁厂重金奖赏的论文“国家与性格”中得到了某种启示。该文中有这样的一段话：“如果德国与法国反目，将会削弱欧洲；趁机而入的不是俄罗斯，而是美国。因此德国在强化陆军参谋部之机，要准备应对越发激烈的经济战争，设立综合的经济参谋部，与法国携手重振欧洲，抵御美国”。此篇文章给后藤新平留下了强烈的印象，其拓展殖民统治，加大日本经济势力的野心由此再次得到膨胀。因而其迫不及待的把该文全篇译出，送给了当时的陆军大将儿玉源太郎。应当说，儿玉源太郎通过该篇文章对后藤新平有了更新的认识。而当日俄战争的硝烟还在弥漫于辽东半岛的上空的时候，后藤新平受内阁总理大臣桂太郎的指派来到日本满洲军参谋部慰问儿玉源太郎。席间，二人的话题重点谈论了战后经营中国辽东半岛一事，后藤新平坚决的主张：“必须重点经营铁路，要从全局出发……，准备与俄国进行再次的交战。”

儿玉源太郎在后来谈论这次面谈的事情时无不感慨地讲到，他从来没有听到能像后藤新平这样“从胜败得失中来谈论如何经营满洲的方针 ，并且是如此的翔实周密”。后藤新平向儿玉源太郎面议经营满洲的方针，概括起来主要是以下四点：第一，经营铁路；第二，开发煤矿；第三，移民；第四，发展畜牧业。后藤新平的这种“满洲经营论”后来又进一步演变成“对满洲文治的军备论”。

后藤新平的“满洲经营论”与日本政府的对外侵略扩张政策可谓是一拍即合。还在日俄战争进行之中，日本政府就已积极策划开始对辽南和大连地区进行军事管制式的行政统治。1904年4月17日，日本东京大本营设置满洲军政委员会。该军政委员会的出笼，是战时的大连地区进入到边战边管的军政合一的统治时期。1906年1月，日本西园寺公望内阁为了加快对中国辽南地区的经济开发，由外交、财政、邮电等部门合议组成“满洲经营调查委员会”，曾在日俄战争时期担任日本满洲军总参谋长的儿玉源太郎出任该委员会的委员长。“满洲经营调查委员会”的主要任务就是谋划对中国东北（重点是辽南及大连地区）的殖民扩张、经济掠夺的战略计划及施政方案和政策。日俄战争的结束，让日本政府已经充分地认识到，加速对中国东北地区丰富资源的开发，以满足日本国内日益贫乏的资源的需求，是至关重要的。要完成这样一个庞大的计划，仅有一个指导机关是不够的，必须要有具体的实施部门来加以完成。而此时后藤新平所一贯坚持的：经营和开发满洲需以铁路为中心的主张，随着日俄媾和条约的签定，沙俄将从长春宽城子至旅顺的铁路和一切支路、铁路内所附属的一切权利与财产、铁路内所附属的一切煤矿，不受补偿以中国清政府允许为名全部转让给日本，从而使日本取得南满铁路的垄断事实，在日本朝野上下得到共鸣。而在20世纪的初叶，帝国主义列强在中国境内修筑了诸多的铁路，如沙俄在东北所建的东清铁路，德国在山东修建的胶济铁路，英国在云南修建的连结缅甸的滇缅铁路，法国在云南、广东至越南间修建的滇越铁路等，这些铁路“决非仅图交通之便利”。犹如一根根吸血管，在吮吸掠夺着中国丰富的矿产资源。这些都对日本政府进一步坚定其在中国东北的经济掠夺起到了彰显的作用。

在对南满铁路如何经营的问题上，儿玉源太郎与后藤新平的想法是一致的，他们极力主张给予“官营”。这可在由 儿玉源太郎委托后藤新平拟订的《经营满洲策略概要》一书中得到明确的答案：“经营满洲唯一的秘诀就是表面上装做经营铁路，暗地里则需要充实各种设施。根据这一秘诀，租借地内的统治机构和经营铁路机构要截然分开，经营铁路的机构必须装做除铁路之外，与政治、军事全然无关。……作为经营铁路的机构要另立满洲铁道厅，把它作为政治的直辖机构，负责经营铁路，守备路线，开采矿山，奖励移民，建立地方警察，改良农工，与俄国、清政府交涉事宜及整理军事情报工作，平时监管培训铁路人员的技术教育”。此种建议一经提出，即刻遭到来自外务省和大藏省的强烈反对。他们竭力主张以“民营”的方式为妥，既以股份公司的形式来经营满洲铁路。他们认为：根据《朴茨茅斯和约》和《中日会议东三省事宜正约》中的规定，南满铁路“仅限于为工商业目的经营”。因此，以私营公司的名义经营更适宜，而不应以政府的名义采取官营方式来加以经营。否则，明目张胆地违反国际条约，很可能要遭到美英等债权国的干涉，中国政府也可能会借机提出新的要求，如果采取公司形式经营满洲铁路，还可以避免耸动中国和各国的视听，有利于取得所谓“中日合作经营满洲”的实效，避免将来发生变故时被当成国有财产而遭到占领没收，并能避免议会的干涉，保持会计的独立。

在经过争辩以后，日本政府最终综合了双方的意见，决定满铁在采取以公司形式出现的同时，实行以经营铁路为中心，综合经营其它各种事业的方针。遂于1906年6月7日，明治天皇以142号敕令，公布了设立“南满洲铁道株式会社”的文件，该文件共计22条款项。7月13日又成立了以儿玉源太郎为委员长的“南满洲铁道株式会社设立委员会”。由于儿玉源太郎一直把后藤新平所建议的经营满洲的方略牢记于心中，因此他也就力荐后藤新平为满铁总裁的最佳人选。7月22日晚，儿玉源太郎约见后藤新平，进行说服。23日下午，后藤新平离开儿玉源太郎的府宅。当晚儿玉源太郎突然暴死。听到消息，此时的后藤新平顿有大厦将倾的感觉。出于他狡诈的心态便迫不及待地向儿玉源太郎的继任者寺内正毅抛出以“满铁总裁隶属关东都督府之下，同时作为都督府顾问，在外务大臣监督下，参与都督府的一切行政”为条件，答应出任满铁首任总裁一职。

1906年8月1日，就在后藤新平答应出任满铁总裁之后，日本政府递信大臣山县伊三郎、大藏大臣阪谷芳郎、外务大臣林董以秘铁第14号文件向满铁设立委员会发布了命令书。在这部命令书中将142号敕令里所不宜表述的重要内容做了详尽的描述。1906年8月10日，满铁设立委员会举行第一次全体委员会议。8月18日，日本政府批准了南满洲铁道株式会社章程。11月11日，正式任命后藤新平为首任总裁。11月26 日在日本东京召开了成立大会。1907年3月5日满铁总部由日本东京迁到大连。4月1日，南满洲铁道株式会社正式开始营业。

后藤新平作为满铁的首任总裁到其卸任（1908年7月）总计不足二年的时间，在这一段时间中，他以一个“殖民地经营家”的角色，制定了满铁的基本发展方向，同时他也参与制定了大连城市的建设发展规划。

依据满铁公司章程规定，满铁最初的资本总额为2亿元，共分1百万股。非中日两国政府及人士不得认购入股，其中日本政府认购50万股，合计1亿元。但实际上日本政府并没有掏出一分钱，而是以沙俄在日俄战争失败后交给日本的铁路经营权、矿山开采权及附属地的一切财产充之。另1亿元，以2000万元招募股份，8000万元发行招募“满铁”债券来解决。其中招募的股份每股200元，共10万股。但在日本政府的操作下，这10万股的民间股东人数多达10912人。这样以来，就使得民间股东难以集成力量行使股东权，从而为日本政府行使对“满铁”的绝对控制权提供了最为安全的保障。今天，人们从其资本运营及日本政府的命令和满铁公司章程中都可以清楚地看到，南满洲铁道株式会社虽然在表面上是一个“民营公司性的组织”但绝非是自由的企业。它是一个要严格按照国家特殊要求和规定来予以运做的强有力公司。是非一般意义上的企业，在满铁组织内的每一个细胞中都体现出它是代表日本政府意志的国家垄断资本主义企业，是日本帝国主义推行“大陆政策”的“国策会社”，是日本侵华的重要机构。后藤新平就更是非常露骨狂妄地宣称，要把满铁建成“帝国殖民政策和我（日本）帝国发展的先锋队”

后藤新平主政满铁之后，立即全面实施发展计划，在坚持以铁路为主的前提下，将其经营触角迅速地伸延到海港的经营、海运的经营、旅馆服务的经营、煤矿的经营、电气的经营以及瓦斯和铁路沿线城市市政建设等方面上来。而且在短时间内就取得了丰厚的经济效益。其中尤以铁路的收益颇丰。满铁公司最初接手的铁路有长大、安奉两大干线。到了1911年时，仅安奉一线就累计运送乘客569 599人，运送货物654 431吨，总收入达1 284 437元。仅铁路运输一项收入就达到了19 907 456元，赢利12 060534元，与满铁成立之日形成天壤之别。有资料统计，在满铁经营的当年其总收入就达到12 543 116元；第二年总收入达到了17 615 683元，此后满铁公司的收入逐年得到递增。

后藤新平在入主满铁后迫不及待地提出了“文装的武备”这一殖民主义统治策略。所谓的“文装的武备”这个词，随着时间的流逝其具体内容也逐年有所不同。最初的“文装武备”简而言之，就是用文事设施，以备外来的侵略，能够在突发事变时兼可有助于武力行动。后藤新平的这一主张，形象地说，就好象是在文人的服装内裹着一个体格强健的军人。但有一点是可以肯定的，后藤新平这里就是要在中国的东北通过以发展经济力量的方法，来达到增强军事实力的目的，而不是赤裸裸地去加强军事力量。其实在他的“文装的武备”统治策略中还有另外一种含义，就是要把其在台湾所施行的惯用手段“王道与霸道”更好地运用于满铁的施政管理之中。后藤新平从一个殖民扩张主义者的立场出发，认为“帝国的殖民政策就是霸道”，就必须是以强硬的手段来加以推行和实施；但同时又应不失适宜地推行“王道”。所谓“王道”，就是要通过以“发展经济、学术、教育、卫生等”，达到“建设一个广义的文明社会”。后藤新平也正是妄想通过这些具体的措施来达到笼络人心，磨灭中国人民的民族精神，“使之皈依帝国”。这里的“王道”只是一种手段，具有极大的隐蔽性和欺骗性。而“霸道”才是根本的目的。就是要把满铁所能达到的区域，统统地变成日本的属地。正是在这种“文装的武备”的思想指导下，满铁建立了一系列的科技、文教、卫生设施。开办大量的学校，大肆进行殖民主义的奴化教育，企图为日后长期殖民统治培养人才；建立诸多的医院，并力争使每一所医院都具有野战医院的功能。成立满铁中央实验所，全面推进和开发对中国东北的科技殖产。材料表明，在满铁经营的前10年中，满铁为铁路沿线大小约30个城市的建设投资超过1300万元。另外还投资500万元在这些城市添设了10所供日本人学习的小学，8所供中国人教育的公学堂，及南满医学堂、南满洲工业学校等教育设施，并提供病床总数为1500张的10所医院和公园、图书馆、防疫设施等文化卫生机构。同时，满铁还在铁路沿线城市投资设置了独自经营或扶持投资经营的电气事业、市场公司、交易所、报社等。这些措施都是行发展经济和文教为幌子，达到加强军事力量为目的。而此种手段在整个满铁经营的40年中，一直是贯彻始终并且是不可或缺的重要措施。

在“文装武备”思想指导下，后藤新平把满铁初期的经营政策的主导区域划定为“大连中心主义”这一具体的事项上。“大连中心主义”的确立，主要是基于大连具有军事上和政治上的安全性。满铁总部设在大连，而统治旅顺、大连的军政合一机构“关东都督府”此时就设在旅顺，关东军司令部也设在旅顺，从而对满铁给予了政治和军事上的直接支持和保护。而后藤新平此时一边出任满铁的总裁，一边还充任关东都督府的顾问。其次，大连独特的地理优势也是其选定位置的重要因素。这里有着一个水深面阔，冬季不冻的天然良港，大连港是连结中国东北的陆路出海口；同时，也是距日本本土最近的港口，是非常“适宜于日满、欧亚联络最短途径的海陆中转地”。以大连为中心，加强对大连港的建设和经营管理，可有利于沟通日本与中国东北地区及其它国际港口之间的贸易往来，也有利于日本向中国的东北地区倾销商品，掠夺资源，藉以提高南满铁路的竞争能力，进而垄断东北经济，扩大对外贸易。1906年8月，日本政府宣布自9月1日起大连港实行自由贸易港政策，并划归“满铁”经营。此政策一出从而使大连港非常迅速地发展起来，年吞吐量锐增。经过短暂6年的开发，大连港就成为中国北方地区最大的货运码头。也是在“大连中心主义”这一方针的指导下，满铁的铁路经营和建设同样有了飞快地发展。为了迅速改变缺少大型机车的局面，满铁在创业的第二年就着手建设规模宏大的沙河口铁路工厂，到1914年该厂就已经能够制造出先进的蒸汽机车。后藤新平所固守的“大连中心主义”的主张在其卸任满铁总裁后，受到继任者中村是公的挑战，他建议将满铁总部迁往沈阳。但由于这一提议一经出笼立即遭到后藤新平的强烈反对，最终没有得逞。这也就是满铁总部能够落脚于大连40载的根本原因。

后藤新平在组建满铁和运营管理中还清醒地认识到人才在经济以及其它领域中的特殊作用。他本人为了网罗“当代头等人才”是煞费苦心，绞尽脑汁，甚至不惜亲自出马东奔西走。据称，后藤新平挑选人才的条件有三：第一，好出名者不用；第二，固执者不用；第三，必须是早晨八点钟的男子。所谓好出名者则是指一心想要出人头地，作风浮夸，时时处处不忘表现自己的人；固执者则是指固执己见，思想僵化，不求变革，不善通达的人；而八点钟的男子就是专指那些朝气蓬勃，热情奔放且具有才华和实干精神的男人。在采用新人上，他特别提出了“早晨八点钟的男子们，快来吧”的口号。因此，有人评价在当时的满铁职员中，几乎就没有“面色苍白的知识分子”的形象。同时，后藤新平为了保证满铁作为日本政府的对外特殊机构，还招募录用了大批的特约人员。在20世纪的初年，日本社会凡有用之才几乎均被满铁招至麾下。这种极富远见的人才观，为满铁招募了大批的精英，这也是满铁在创业之初就能显现出一种强劲生命力的根本之所在。事实上也同样如此，这些被“网罗到的人才”一旦被安排到适宜于发挥作用的岗位上，“就像被送进知识培养器中一样，就会得到非常充分的营养素，既不必使他们觉得是再为了生活而在工作，也不必用那种低三下四的举止和口气去应酬”一些人和事。后藤新平的人才观，也有利地激发了满铁职员的工作激情，在创业之初的满铁内部无不弥漫着“一种使职员们感到‘满铁就是我自己’的这样一种精神剂”，“觉得自己是来到了一个不平凡的地方工作”。为了能够最大限度地发挥满铁职员的理性思维，在当时的满铁图书馆中，为职员们提供的各种图书可谓是“汗牛充栋”，应有尽有。从“《马恩全集》到伏尔加的《经济年报》、列宁的《列宁著作集》等，这些书刊在日本不用说阅读，就连藏书都是危险的，而在这里却能自由的阅读”。正因为如此，在后来有许多富有调查经验和较高理论水平的日本左翼知识分子进入到满铁之中，他们将马克思主义的方法论和调查方法充分地运用到调查和研究实践中，使满铁的调查由为日本搜集情报变成提高到在占有资料的基础上进行综合分析和研究的高度。

后藤新平在就任满铁总裁一职后，根据自己在台湾进行殖民统治的经验，竭力主张对中国东北全境的社会风俗习惯、农工商特点、交通和历史地理状况进行调查，以便制定出更加符合日本“经营满洲”的侵略政策。在他的亲自主持下，成立了“满铁调查部”。这一机构最终演变成为满铁最重要的部门之一。调查部在创立之初 ，工作的重点是放在对“经营满铁所需要的旧习调查及关东军事地志”的调查上。而后随着满铁业务领域的不断拓宽和发展，其调查范围有了更大的扩展，已经涉及到社会调查、情报搜集、资源调查、政策研究、历史地理以及当时中国政府的政治、经济、文化和军事研究等方面。可以说他们的触角已经达到了无孔不入的地步。后藤新平一方面在大连的满铁总部设立了“调查部”，同时，又在东京的分公司设置了“东亚经济调查局”。成立这一机构的目的是，“要解决日本及满蒙的经济问题，就必须要研究它在世界经济中所占有的位置”。关于这一点，满铁总部的枭首们曾经于1914年以“绝密”的形式，下发了一份仅限于公司内部传阅的《东亚经济调查局发展刍议》的文件，在这部文件中，对调查局的未来作用就有了更进一步的阐述：一、研究西洋文明国家的殖民政策及经济社会的各种问题，不仅给满铁而且也要为本国政府机关提供参考资料，并且也可以和各国银行及企业交换研究资料。二、向世界各国介绍日本的殖民政策，如果外国对日本政策有所误解，调查局应负责解释；如果外国人提出质疑，该局要负责给予答复，藉以加强互相了解。东京分部“东亚经济调查局”的发展，可谓是一路高歌，最终被人们称其是“满铁的外务省”，甚至“显示出是日本的战略研究所的作用”。

1908年7月，后藤新平卸任满铁总裁职务。但此刻的他仍未放弃对满铁的控制，接替人选中村是公的举荐及日后满铁经营的重大决策，均由后藤新平定夺，直至1913年12月中村是公届满辞任。可以说，在被称为满铁创业阶段的七年中，后藤新平一直是满铁的主宰。后藤新平在离开满铁后，连年出任日本内阁要职，为了鼓吹他的日俄联合对抗美国的主张，后藤于1908年4月访问了彼得堡，接着又秘密鼓动明治元老伊藤博文访问俄国，伊藤博文在哈尔滨车站被朝鲜义士安重根刺杀后，又鼓动首相桂太郎联俄，1911年8月和桂太郎一起访问俄国首都彼得堡，企图联合俄、英、法、德开发中国的资源，但不久接到明治天皇的讣告，匆忙归国，因而未能呢个达到目的。其后任第三次桂太郎内阁递信大臣、桂太郎组织政党时，他参与策划，1913年2月政党成立后，他被推为总务委员，颇具威望，桂太郎死后，他就脱离该党，1916年任寺内正毅内阁内务大臣、外务大臣职；1918年十月革命后，亚历山大·瓦西里耶维奇·高尔察克海军上将在西伯利亚自立为俄国最高执政，后藤以外务大臣的身份提出《关于向西伯利亚派兵的意见书》，支持以参谋本部次长田中义一为首的出兵派，1920年任东京市长，在任两年，自己出资仿照纽约市政研究局建立了东京市政研究所，大力改革市政。1922年升为子爵。华盛顿会议后，1923年12月后藤又以“制止支那妄动，抵御美国暗中活跃····恢复日苏协商”的主张出发，与共产国际代表越飞会谈，以恢复日苏邦交为条件，协调双方在中国的立场。

1923年年9月第二次山本权兵卫内阁内务大臣。关东大地震后兼任复兴院总裁，致力于大地震后的东京复兴工作，由于突然发生刺杀皇太子裕仁的虎门事件，内阁被迫总辞职。1926年他倡导政治伦理化运动，反对“政治就是力量”的政党主张，极力主张“政治的根本应建立的伦理道德上”，并到全国各地进行宣传，后任少年团(童子军)总裁，致力于少年团的组织训练工作，1927年访问苏联，为加强两国邦交作出贡献，1928年11月参加昭和天皇继位大典，升为伯爵，1929年4月在去西部地区演讲途中，因患脑溢血在火车中昏倒，同月13日死于京都府立医科大学医院，终年73岁。追赠正二位。

他卓具远见，做事规模宏伟，经常走在时代的前面，一般人最初嘲笑他规划空泛，不着实际，后来却不得不佩服他有先见之明，如东京车站的设计，东京复兴规划都是他规划的。桂太郎评价他说“新平的建议虽然不能全面采纳，但十中必有一、二是天才的创见，才智非凡，鬼神莫测。”他还曾任拓殖大学校长，东洋协会，日俄协会会长。著有《海水功用论》、《国家卫生原理》、《瑞士工人疾病保险法》、《公民必读》、《政治的伦理化》等和译著。