但当时他的思想不被接受，他提出辞职，但被皇帝挽留，在1895年成为海军少将之后，提尔皮茨于1896-1897年间在东亚指挥远东巡洋舰队。当时中国在甲午战争中大败，各国掀起了一股瓜分狂潮。他认为英国在香港的基地不能满足德国海军的需要，提出强租胶州湾，把青岛建成了德国海军东方基地。1896年德皇在南非问题上的发言恶化了英德关系，皇帝需要一支强大的舰队来增加外交发言权，1897年提尔皮茨被任命为帝国海军大臣，帝国议会拨款7000万马克修建3艘战舰。这次任命标志着提尔皮茨与德皇威廉二世亲密合作关系的开始。

当时的德国海军只是一支近海防御力量，实力上仅和瑞典丹麦相当，或者略强少许。对于野心勃勃的德皇而言，具有优良传统的德国陆军不值得担忧，他所唯一不放心的是海军。当时的英国皇家海军正处于全盛时代，不但拥有规模庞大的舰队，而且全英国最优秀的人才都被吸引到海军，这支舰队守卫着从加拿大到澳大利亚，从印度到南非的几千万平方公里的殖民领地。英国皇家海军的战斗力对德国具有绝对优势。德国要想实现其野心，必须认真考虑这一严酷的事实。

提尔皮茨是一个极有胆魄的人物，他不但决意为德国创建一支真正的远洋舰队，而且还希望这样一支舰队能与英国皇家海军相匹敌。显然，对提尔皮茨所提出的扩充德国海军舰队的计划，这位毫不掩饰自己对阿尔弗雷德·赛耶·马汉的崇拜的德国皇帝是十分的热心和渴望。威廉二世对提尔皮茨的胆略和雄心十分欣赏，对提尔皮茨寄予了深厚的信赖，全力支持他的扩充计划，并在不久后封他为伯爵。这种信赖是如此的深厚，以至于提尔皮茨最后获得了“永远的提尔皮茨”这样一个称呼。这个称号是因为当他身边的人如走马灯一般来来往往时，提尔皮茨始终保持权力。即使是皇帝的兄弟海因里希，他在和提尔皮茨争吵之后也出乎意料的以一个有名无实的晋升的方式被调离岗位。

以1898年第一舰队的组建为标志，提尔皮茨公布了他所组织完成的新的《海军法》，总耗资4.08亿马克，预计1905年完成，开始了重新组建海军的过程。第一舰队包括两个分舰队，17艘战列舰、9艘大型及26艘小型巡洋舰和其他小型舰只。这个规模的建设计划将使德国舰队与法国比肩，初步具有挑战英国的能力。为了取得支持，他拜访了俾斯麦和巴伐利亚摄政王，巴登大公，萨克森国王等寻求支持。还在德国境内组建海军协会以寻求民间支持。第二次布尔战争爆发后，英国海军到处拦截援助给布尔人的船只，随后的1900年，提尔皮茨再次修订海军法，开始了第二舰队的组建。他计划在17年之内（1900-1917）使德国海军成为一支包括2艘旗舰、36艘战列舰、11艘大型和34艘小型巡洋舰的舰队。德国为了要殖民地，要阳光下的地盘需要舰队支援。提尔皮茨雄心勃勃，毫不掩饰他想建设一支足以与英国皇家海军匹敌的舰队。他同时声称：新建“这支大海军的目的，是要使最伟大的海权国家都不敢向它挑战，否则就有使自己优势遭到破坏的危险。”

需要指出的是，该计划过于好高骛远，提尔皮茨的组建计划因此被批评为建立在不现实的期望上。这个备战计划极大的刺激了英国，并引发了新一轮的海军军备竞赛。英国人本来计划在1906年下水了新式“无畏”号主力战列舰后，稍稍放缓步伐，减少对财政的压力。但面对咄咄逼人的提尔皮茨，温斯顿·丘吉尔如此评论道：“大陆上的最大的军事强国决心在同时成为至少占第二位的海军强国，这是世界事务中一个具有头等重大意义的事件。”英国人决心保住它的海上霸主地位，也开始加速自己的舰艇制造计划。英国海军第一大臣约翰·阿巴斯诺特·费舍尔男爵疯狂的吼叫说：“德国舰队应该被哥本哈根” （指像1806年拥有世界第二船队的丹麦海军一样在哥本哈根被消灭掉）。

面对英国新开发的无畏战列舰，德国也不甘示弱，先后在1904、1908和1912年提出三个海军补充法案。第一次补充法案时第一次摩洛哥危机爆发后做出的，第二次补充法案就是对付英国的舰艇更新计划。提尔皮茨看准了海军发展的潮流，决心步英国的后尘。他再次修订了造舰计划，计划使德国海军力量在1914年达到拥有13艘无畏级战舰、5艘战列巡洋舰、22艘老式战列舰、32艘巡洋舰、114艘驱逐舰和30艘潜艇的规模。同时他在威廉二世的大力支持下，加强舰艇的建造工作。

就在英国无畏号下水一年后，德国也下水了4艘无畏级战列舰，其标准排水量为18873吨，主炮口径为280毫米，航速为19.5节。与英国的超级战列舰相比，德舰在航速和主炮口径上有一定差距，但德舰显著的特点是侧重防御，宁肯牺牲航速和火炮口径也在所不惜：它的指挥塔装甲厚达400毫米，水线部分300毫米，明显高于英国军舰。除此之外，根据提尔皮茨的建议，建成的德舰全都舱室狭窄，重重设置水密门，水线以下的一切隔板都不开联络门，以防区域进水后脆弱的联络门被压破。德舰的贮煤舱尽量设计在舰体两侧，起防护作用。显然，面对英国海军的优势，提尔皮茨追求舰艇在战斗中的生存性和稳定性。他的努力收到了效果，在一战中，德国战舰较英国战舰而言在生存能力上明显占有上风。当戴维·贝蒂和弗兰茨·冯·希佩尔在日德兰海战中交锋时，德军采用近战以很小的代价便击沉了“不懈”号和“玛丽女王号战列巡洋舰，还重创了贝蒂的旗舰“狮子”号（狮级战列巡洋舰）。这一战果中希佩尔的指挥固然重要，但提尔皮茨的功劳更加不可抹煞。

1911年，提尔皮茨被提升为公海舰队总司令，并晋升为四颗星的元帅军衔。 值得指出的是，提尔皮茨并不希望和英国交战，他是想通过风险理论，极大的加强德国海军实力，能够让英国人在采取敌对行动时三思而后行。第二次摩洛哥危机爆发后，他进行了第三次海军补充法案，但只是增加了三艘战列舰。面对英国海军毫不示弱的反击，德国的态度也软化下来，声称只要有英国海军的一半就够了，还提议海军休假、但英国皇家舰队还是不干，提尔皮茨的努力随着1914年战争的爆发他的期待化为泡影，而且他还受命担任德国海军总司令。这时，德国已经能集合29艘战舰来对抗英国的49艘，其中无畏舰的对比为13:20。在这样的力量对比下，提尔皮茨明白英国在海军军事力量上远远领先，德国舰队显然不能在公开行动中有效的克制英国舰队，他对于两军舰队作战的结果保持悲观态度。这种悲观态度，加上德皇过于担忧心爱的战舰受到损失，以至于日德兰海战成为整个战争期间唯一著名的舰队行动。

提尔皮茨从此把作战的重点放在无限制潜艇战上，他试图采用隐蔽的消耗手法对付英军舰队，以达到平衡两军舰队力量的目标。然而，德军的无限制潜艇作战的策略受到严重质疑，尤其是认为这一策略对当时还保持中立的美国的影响考虑不足。由于发现自己的政策执行得束手束脚，甚至到了他无权控制潜艇部署的地步，提尔皮茨于1916年3月委婉的提出辞呈以表示抗议。多少有点出乎提尔皮茨的意料，威廉二世接受了他的辞呈。 面对过于强大的敌人和期望过高的皇帝，“永远的”提尔皮茨最后还是失去了宠爱，被排挤和冷落。

1919年，提尔皮茨出版了他的自传《我的回忆》。提尔皮茨对战后社会民主党人所组成的温和政府非常不满。他争取到古斯塔夫·施特雷泽曼的支持，并成为战后的右翼祖国人民党的领导人。1924-1928年，提尔皮茨担任该党在魏玛共和国国会的代表。1925年，他成功的劝说固执的保罗·冯·兴登堡接受魏玛共和国总统的职位。之后，早已失去原有的大部分影响力的提尔皮茨再也没有成为一个引人注目的政治角色。

1930年3月6日，阿尔弗雷德·冯·提尔皮茨死于伊本豪森，并被埋葬在慕尼黑的一个公共墓地。提尔皮茨是一个冷酷和狡诈的领导者，也是一个忠实的军国主义者和右翼分子。但作为德国远洋舰队之父，他当之无愧。