他为人慷慨，与广东水师提督的军需官结成至交。

1910年为岑春煊所设新军筹集军需品。后又承揽陈炯明陆军军需品的供应，成为暴发户。真正促使霍芝庭大发达的是赌业。

1914年督粤的龙济光借“水灾善后有奖义会”之名，招商承办铺票公赌，省府的承办权由著名殷商麦竹寰投得。1915年底，霍芝庭拿下江门、佛山两地的铺票分厂经营权。 没多久便杀回广州，与同行大冤家麦竹寰抢羹。广州铺票的价格为1 角5 分一条，江门的票价定为5 分一条，结果江门铺票畅销广州，霍芝庭大赚特赚。以后，霍芝庭专营官准公赌，几乎期期专营权都能投得。霍芝庭成为广东赌界之王的秘诀是：“将欲取之，必先予之”。也就是以钱开路，结交权贵，然后在权贵的庇护下独霸专营权，进而牟取更大的利益。霍芝庭先后结交的军阀政要有：龙济光、陆荣廷、陈炳民、莫荣新、杨希闵、刘震寰、李济深、陈铭枢、陈济棠、宋子文等。其中，与陈济棠的关系最密切，获利也最多。