尝与爻直不相能，因曰：“尔奴才，何所知？”爻直讼于北院枢密使韩德让。德让怒，问曰：“尔安得此奴耶？”乌不吕对曰：“三父异籍时亦易得。”德让笑而释之。后从萧恒德伐蒲卢毛朵部，以功为东路统军都监。及德让为大丞相，荐其材可任统军使，太后曰：“乌不吕尝不逊于卿，何善而荐？”德让奏曰：“臣忝相位，于臣犹不屈，况于其余。以此知可用。若任使之，必能镇抚诸蕃。”太后从之，加金紫崇禄大夫、检校太尉。而弟国留以罪亡，乌不吕及其母俱下吏。恐祸及母，阴使人召国留，绐曰：“太后知事之诬，汝第来勿畏。”国留至，送有司，坐诛。其后，退归田里，以疾卒。