身为舰队司令的温树德，看见孙中山已失败，军饷都成为问题，可又不太愿意与陈炯明公开妥协，所以态度暧昧，只是应付。当时除“海圻”、“海琛”、“肇和”三舰停泊于虎门外，其余各舰仍分别泊于黄埔和省城白鹅潭。当时，陈炯明部队已被闽、滇、粤、桂等军阀驱逐至潮州一带，温树德舰队失去了所有依靠，粮饷、煤水都发生了困难。

加入直系

正当海军进退两难的时候，第一次直奉战争结束。不久，直系军阀控制北京政府，曹锟贿选大总统成功。其部将吴佩孚为直鲁豫巡阅使，声势盛于一时，坐镇洛阳，扬言要武力统一全国。曹锟和吴佩孚得知驻粤海军分裂情况，以为是大好时机，便以同乡关系，收买温树德的舰队，加强自己的军事实力。1923年5至6月间，吴佩孚派海军部军需司长刘永谦和巡阅使咨议柳仲承为代表到香港，通过利泰洋行经理柳仲承之弟柳平野，秘密到广州请温树德去香港。刘、柳二人劝说温树德率驻粤海军脱离广州，加入直系，一切费用均由直系负担。

此时舰队处境艰难，粮饷、煤水都没保障，舰船长时间得不到维修，有些已锈蚀不堪。如在粤长拖下去，就有被困死的危险。当时虽不得不暂时与陈炯明合作，也并非全军本意。再者，舰队官兵大多为北方人，思乡心切，也希望北归。

经短时间协商和筹备，在基地、军饷、修船等项都有保障的情况下，温树德于11月初，率各舰离开汕头。“豫章”舰因修理机器，单独行驶，后为南巡的“应瑞”练习船发现，舰长陈绍宽令其归队，舰上官兵上岸逃走，“豫章”舰被“应瑞”拖走。其余的“海圻”、“海琛”、“肇和”、“永翔”、“楚豫”、“同安”等共6艘军舰，于12月初陆续开抵青岛。根据此前达成的协议，他们设司令部于莱阳路，并以青岛为基地，称为渤海舰队，温树德为渤海舰队司令，其职权与其他舰队司令相同，从此南下护法海军已完全转化为直系控制下的“渤海舰队”。

1924年2月，在吴佩孚邀请下，温树德在刘永谦、柳仲承陪同下率一部分舰队人员来到洛阳，商谈海军事宜，受到吴佩孚的欢迎和重视。当即规定海军军饷由青岛地方负责一部分外，大部分由胶济路每月拨款5万元，各舰均由天津大沽造船所承修，经费由交通部拨付。渤海舰队不隶属于北京海军部。温树德回青岛后，曾去北京见海军总长李鼎新。李除慰勉外，一切都推给吴佩孚，表示不干预这支舰队。这样，吴佩孚就直接控制了这支海军，在其指挥下，它曾参加过直奉战争。

1924年9月，第二次直奉战争后，直系战败。11月24日，张作霖入关进入北京，当天即成立以段祺瑞为“临时总执政”的中华民国临时执政府。经过这次战争，奉系军阀张作霖认识到了海军的重要性，很是羡慕渤海舰队强大的战斗力，于是打算收编直系军阀吴佩孚的渤海舰队，以增强自己的军事实力。

张宗昌控制

1925年4月24日，段政府任命奉系将领张宗昌督办山东军务，调任郑士琦为皖督。5月7日，张宗昌接任鲁督，所部奉军也源源开进山东。此时的渤海舰队驻泊青岛，而顶头上司吴佩孚兵败后退居武汉，渤海舰队一时间成了无根之木。吴佩孚兵败后浮海南下经过烟台时，温树德等曾向其请示海军在青岛如何应付局势，吴说：“我去后，你们在青岛就取割据形式，以后如何再说。”渤海舰队司令温树德在吴佩孚大势去后，无所依附，只好听其自然。

1925年5月中旬，张作霖命张宗昌与温树德接洽收编渤海舰队事宜。当时，渤海舰队向背的关键无非是权势和经费，奉系军阀的权势正盛极一时，经费问题，张作霖也表示不成问题。张宗昌在与温树德接洽收编问题的同时，又着手削弱渤海舰队在地方的势力。渤海舰队驻青岛多年，势力已逐步扩展到市政方面，高级军官莫不各兼一职，如温树德兼任胶澳商埠督办，各舰长兼各局、所长，这是张宗昌主鲁后所不能容忍的。7月15日，张宗昌免去温树德的胶澳商埠督办职务，使其专任渤海舰队司令。随即，将胶澳商埠局收归省辖，并进行改组，将渤海舰队军官所兼各局所长全部撤换。

由于张宗昌在收编渤海舰队的问题上已表露出据为已有的倾向，因此张作霖又派沈鸿烈和张学良直接插手这件事。沈鸿烈派舰长尹祖荫和冯涛到青岛，与他们在烟台海校的同班同学、时任渤海舰队肇和舰参谋长的赵梯昆和楚豫舰舰长胡文溶联系，请他们协助将舰队拉到东北。但是，他们既未经温树德的许可，也没得到舰队中掌握实权的军士长级士兵的同意，根本无法调动舰队，另外赵、胡本人对同东北海军合并也颇多顾虑，结果尹祖荫、冯涛的活动没有成功。这之后，张学良又到天津亲自与温树德接洽，温树德表示只要东北能提供经费并发清欠饷，舰队便可接受指挥。张学良首先要温树德将渤海舰队调到秦皇岛，待其检阅后再作决定。温树德率渤海舰队开赴秦皇岛，计有巡洋舰3艘，炮舰4艘，驱逐舰3艘，运输舰1艘。此外，尚有“海琛”、“肇和”、“同安”3舰，因故障和正在修理而留在青岛。19日，张学良、沈鸿烈在秦皇岛检阅了渤海舰队，感到非常满意。随后，张学良同温树德前往青岛，检阅留青岛的各舰。沈鸿烈则自秦皇岛返沈阳，向张作霖汇报检阅情况，并向张建议将渤海舰队与东北江、海防舰队合并改编为东北海军。沈鸿烈的改编方案，与张作霖的想法不谋而合，于是张电召温树德来沈阳召开海军会议。但是，渤海舰队的多数军官都不主张温树德亲去，以防他变。温树德本人对张作霖也存有戒心，所以，他一方面将秦皇岛的舰队调回青岛，一方面派代表赴沈，他本人则称病躲在天津。渤海舰队代表经与奉天当局多次协商谈判，直到9月底，双方才初步达成协议。

渤海舰队的改编即将成功之时，却发生了青岛海军的闹饷风潮。张宗昌主鲁后，尽管仍隶属于奉系，但已有了自己的实力和地盘，成了一个依附于奉系的山东军阀。他也想将渤海舰队控制在自己的手下，但又因张作霖要收编这支舰队，所以他不敢公然与之抢夺。张宗昌以为，既然自己得不到这支舰队，经费当然也不能由山东负担。因此，当时除调赴秦皇岛各舰拨发部分军饷外，留驻青岛的各舰已欠饷达数月之久。本来渤海舰队的中下级军官对与东北海军合并就十分不满，当改编协议马上就告成时，便归责于温树德。于是，“肇和”、“同安”二舰借口欠饷问题，于10月15日宣布独立。张宗昌闻讯后，立即抓住了这个收编渤海舰队的好机会，派所部旅长毕庶澄率兵前往解决。毕一面以武力弹压，一面答应发清欠饷抚慰，几天后，闹饷风潮平息。20日，张宗昌以温树德久病天津，已无驾驭之力，各舰共举毕庶澄为公开理由，将温树德免职，委任毕庶澄兼任渤海舰队司令，海圻舰舰长吴志馨为副司令。这样，张宗昌就把渤海舰队抓到了自己手中。

加入奉系

张宗昌接管渤海舰队后，国内接连发生了奉浙战争、郭松龄反奉、奉冯战争等一系列战争。毕庶澄的陆军本职也由旅长升为师长，再升至军长。当时奉系军阀因忙于应付战争，已经无暇顾及统一海军，况且东北海军与渤海舰队都参加了作战，这时再谈合并，必然会在张作霖与张宗昌之间挑起争端。但张作霖、沈鸿烈并未放弃将渤海舰队并入东北海军的愿望。1926年秋，渤海舰队的海圻舰赴旅顺的日本船坞修理，沈鸿烈见有机可乘，便亲自率人到旅顺拉拢收买海圻舰士兵。舰上大多数士兵被沈鸿烈收买后，公开表示不愿再回青岛，甚至以闹饷要挟。舰长袁方乔见形势紧张，且已不能行使职权，遂离舰逃走。副舰长张衍学被士兵拦阻，没有脱身。沈鸿烈表示如果海圻改隶东北，不但按月发饷，而且一次发清以前的欠饷，以利弊说服了张。11月初，沈鸿烈抢夺海圻舰成功，将其编入东北海防舰队。

1926年12月1日，张作霖在天津就任安国军总司令。22日，张作霖决定任命靳云鹏为内阁总理，海军总长由张宗昌推荐的毕庶澄担任。不料，吴佩孚发来电报，主张仍然维持顾维钧内阁，张反复权衡后同意。1927年1月12日，顾内阁改组成立，海军总长仍为杜锡圭担任。那时，直系吴佩孚、孙传芳两大军阀已被广东国民革命军的北伐打败，孙传芳率残部退守上海和浙江。2月中旬，北伐军攻入浙江。张宗昌为夺取地盘，命直鲁军入江浙“援孙”。2月24日，鲁军第八军军长兼渤海舰队司令毕庶澄率部开往上海接替防务。毕在上海吃喝玩乐，不理军事。蒋介石委任其为第四十一军军长，他也不拒绝。3月21日，上海工人发动第三次武装起义，直鲁军退出上海。24日，毕逃回青岛。张宗昌的部将褚玉璞等揭发毕接受了北伐军的任命，4月5日张宗昌将毕枪决。7日，改任祝祥本为胶东防守司令兼第八军军长，升任吴志馨为渤海舰队司令。

6月18日，张作霖在北京正式组织安国军政府，并就任“中华民国陆海军大元帅”，宣称代表“中华民国”行使统治权。奉系军阀成了北洋政府的统治者，奉系海军也顺理成章地成为“国家海军”。7月19日，张作霖任命张宗昌为海军总司令，将东北海防舰队改为第一舰队，沈鸿烈任舰队司令，将渤海舰队改为第二舰队，吴志馨任舰队司令。两部海军虽在名义上合二为一了，但实际上仍各自为政。两部海军“统一”后，沈鸿烈仍在找寻机会夺取渤海舰队的领导权。他通过种种手段试图取得张宗昌的信任和赏识，并且还百般拉拢张的心腹亲信——胶东防守司令祝祥本，为其控制渤海舰队创造必要的条件。1928年4月北伐期间，吴志馨暗派代表与国民革命军总司令蒋介石联系，结果被控下狱，后被处决。而第二舰队的司令一职则由第一舰队副司令凌霄代理。这次事件后，沈鸿烈升任海军副总司令并基本上接管了第二舰队。但第二舰队对于换主帅并不顺从，接着掀起一场风潮。“海琛”、“肇和”、“永翔”等舰艇先后起锚出港，并向当局提出三项要求，即释放前任司令吴志馨及赵、胡二舰长；发清6个月欠饷；另举司令，不受沈鸿烈节制，限5天答复，若不接受，即当武力解决。实际上，原渤海舰队的士兵是在抵制被合并到东北海军。

在这种情况下，沈鸿烈联合青岛防守司令祝祥本向济南张宗昌请示办法，张宗昌亲自到青岛平息了这场风潮。此后，张宗昌将海军全权托付给沈鸿烈，并令其整顿第二舰队。沈鸿烈将各舰旧舰长全部换掉，并整顿了闹风潮的士兵。整顿结束后，沈鸿烈在青岛正式设立了东北海军总司令公署排水量近2万吨。

这样，沈鸿烈就完全控制了渤海舰队，也可以说渤海舰队成为奉系控制下的东北海军的一部分。