横山作次郎最早跟随井上敬太郎学习天神真扬流，也曾经学习过起倒流。1886年，加入嘉纳治五郎的讲道馆，很快就成为其中的杰出弟子。他擅长扫腰，著名的自创技法为天狗摔。

他曾经指导过三船久藏及前田光世。以横山的身高来说，在当时的日本人当中算是巨人，他的名技天狗摔也是身高 和伤害成正比的。他少年时就很有胆魄，曾经用武士刀斩杀过闯空门的强盗。