1881年，霍兰的第二艘潜艇建造成功，命名为霍兰-2号潜艇，也称“芬尼亚撞角”号。该艇长10米，装有一台功率为11千瓦(15马力)的内燃机，排水量19吨。为了解决潜艇的纵向稳定性问题，霍兰在艇上安装了保持纵向稳定的升降舵。同时，他还在这艘潜艇上安装了一门气动发射炮，使潜艇可以在水下发射一枚1.83米长的鱼雷。

“霍兰—2”号潜艇的成功之处在于首次安装了使潜艇能在前进中下潜而保持纵向稳定的升降舵。这艘潜艇下潜时，不是靠增加重量，而是用下潜舵(水平舵)来保持深度的；上浮时，利用少量贮备浮力上浮。这一设计在潜艇发展史上被认为是一个重要的里程碑。遗憾的是，这艘潜艇从来没有和英国军舰交过手。

19世纪80年代末，潜艇的发展引起了更多国家的兴趣，但是霍兰不幸被迫中止了潜艇的研制试验工作。原来，“芬尼亚社”的一些人见霍兰整天对潜艇进行试验，却丝毫没有用于作战的想法，便对他失去了耐心，并在一天晚上将他的第三艘潜艇和”芬尼亚撞角”号一起偷偷地运走了。

没有了“芬尼亚社”的资助，霍兰只得到一家气枪公司工作。后来，他在朋友们的支持下，又与炮兵上尉扎林斯基一起创办了一家潜艇公司，合作研制了他的第四艘潜艇，并命名为“扎林斯基”号。这艘潜艇于1886年首次进行下水试验时，滑道崩塌，全艇被毁。

1893年，法国建成了“古斯塔夫·齐德”号潜艇。这艘当时最先进的潜艇的诞生促使美国海军部举行了一次潜艇设计大赛，从而使霍兰有了翻身的机会。他不仅在大赛中夺魁，而且还于1895年接到了制造一艘潜艇的订货单，并从美国海军那里得到了一笔15万美元的经费。

为了建造一艘像样的潜艇，霍兰在几经修改设计后，定型了一艘长约26米，拥有一种最新的双推进装置的潜艇——潜水者号潜艇。该艇的双推进装置是指用于水面航行时使用的蒸汽机动力装置和用于水下潜航时使用的电动机动力推进装置。这可是潜艇双推进系统的“鼻祖”。不过，美国海军要求霍兰使“潜水者”号能够用于水面作战，但霍兰认为，按照这种要求，是不能制造出满意的潜艇的，于是就放弃了“潜水者”号潜艇的建造工作，归还了美国海军的经费，开始用自己的钱来建造一艘新的潜艇。

1897年5月17日，时年56岁的霍兰终于成功地制造出了一艘长约15米，装有33千瓦汽油发动机和以蓄电池为动力的电动机的传奇式潜艇。该潜艇采用双推进系统，在水面航行时，以汽油发动机为动力，航速可达每小时7海里，续航力达到了1000海里，在水下潜航时，则以电动机为动力，航速可达每小时5海里，续航力为50海里。该艇共有5名艇员，武器为一具艇艏鱼雷发射管(有3枚鱼雷)和两门火炮，一门炮口向前，一门炮口向后，火炮的瞄准要靠操纵潜艇自身去对准目标。该艇能在水下发射鱼雷，水上航行平稳，下潜迅速，机动灵活。这就是霍兰设计的第六艘潜艇“霍兰-6”号，也是他一生中设计建造的最后一艘潜艇。“霍兰-6”号在潜艇发展史上获得了前所未有的成功，被公认为“现代潜艇的鼻祖”。为了纪念霍兰这位伟大的先驱者，人们又将该艇称为“霍兰”号。但是，“霍兰”号潜艇的成功没有给霍兰本人带来任何好处。由于美国海军部一些官员的偏见和挑剔，这艘潜艇不仅没有被美国海军采用，反而使这位大发明家受到了恶毒的嘲讽。在一片讽刺声中，霍兰愤然辞职，放弃了其心爱的事业，并最终于73岁时积劳成疾，因肺炎病逝。一个多月后，德国潜艇U-9号，一天之内击沉了英国的“亚博克号”、“ 克雷塞号”和“霍格号”三艘巡洋舰。震惊了全世界，德国人正是根据霍兰的潜艇结构和原理，建造出了使世界为之震惊的潜艇的。