赫德是一位超级乐迷，他不仅熟知音乐常识、写歌作乐，还能够演奏小提琴、大提琴。大约在1885年的一天，天津海关的督员向他报告，洋雇员里有一个人能够训练乐队。赫德灵光闪现，犯了乐瘾。于是自掏腰包，从英国订购来一批西洋铜管乐器和乐谱，请来那位洋雇员德国人比格尔担任艺术指导，从天津本地招募一些出身穷苦的年轻人作乐手，于是一个初具规模的西洋铜管乐队就这样诞生了。此前几年，上海的英美租界里曾经有过一支“上海公共乐队”，但都是由侨居于此的外国人担任乐手。而赫德乐队的成员却都是从中国青年中加以挑选培训，这就开创了中国人组成西洋管乐队的先河。最初的赫德铜管乐队的编制为12人，后来增加到14人，包括小号、中音号、长号、大小鼓等多种乐器。赫德也的确为其花费了不少精力和金钱，乐队训练日渐起色。不到一年的时间，乐队中8个成绩较好的乐手被调往北京，负责指导新招来的一批学员，原乐队则再补充新人继续训练。北京乐队的人员配备齐全后，天津的乐队就归并到直隶总督府的铜管乐队了。后来赫德还逐步在乐队中加入了弦乐器，使之扩充为一支20多人的管弦乐队。他还聘请了葡萄牙人恩格诺长期担任指挥，使乐队的水准有了长足的进步。作为一支私人乐队，赫德乐队除了在他工作时常常在院中奏乐作陪、在家庭舞会中担任伴奏外，还曾进宫在一些外交场合演奏。