宝字末，授从五位下，为伊势守。景云中，历式部少辅、安艺守。宝龟中，除中卫少将，改右卫士督，历兼美浓、上野、出云、常陆守，累进从四位上。十年，拜参议。十一年，陆奥虾夷反，授正四位下，为持节征东大使。奏曰：「蠢玄虾夷，寔繁有徒。或巧言连谋，或窥隙肆毒。是以遣二千兵，经略鷲座、楯座、楯石泽、大棺屋、柳泽等五道，刊木塞径，浚沟设险，以断逆贼首鼠之要害。」敕曰：「如闻出羽大室塞等，亦是贼之要害也。宜命将军及国司，据险置戍，防御冲突。」天应元年，兼陆奥按察使，加兵部卿。桓武帝即位，小黑麻吕上状言贼情。敕曰：「得奏状，具知消息。彼夷俘之为性，蜂屯蚁集。攻则牛逃山薮，缓则侵略城塞。而伊佐西古、诸绞、八十岛、乙代等，贼中之首，一以当千。窜迹山野，窥机伺隙。畏我军威，未敢纵毒。今将军等未斩一级，先解军士。事已行讫，不可复追。但见先后奏状，贼众四千馀人，所斩首级仅七十馀，则遗众犹多，何遽请凯旋？纵有旧例，朕不取焉。宜差副使内藏全成、多犬养等一人，乘驿入京。先奏军中委曲，其馀待后处分。」是时征东副使大伴益立逗遛不进，乃命小黑麻吕，进军击虾夷。至则悉复诸塞，就授民部卿。贼平归京师，以功叙正三位。延历初，再兼陆奥按察使。未几，改兼左京大夫，任中纳言，寻转大纳言。十三年，薨，年六十二，赠从二位。子葛野麻吕，自有传。道雄，至从四位上参议。