其父穆斯塔法将军是当时在伊朗宣布成立的库尔德共和国的军事领导人。后来该共和国被伊朗当局镇压后，他父亲带着500多名追随者逃往苏联，巴尔扎尼则和家人以及数千名族人回到伊拉克。1958年，伊拉克费萨尔王朝被推翻后，12岁的巴尔扎尼才和父亲团聚。很快，伊拉克政府恢复了镇压库尔德人。1961年开始，他父亲穆斯塔法和库尔德民主党被迫发动武装斗争，以捍卫库尔德人的权利。当时年仅16岁的巴尔扎尼放弃了自己的学业，投身于武装斗争。年轻的的巴尔扎尼以自己的英勇和领导才能在军队中崭露头角。他在游击战中积累了丰富的经验，20世纪70年代，他已是库尔德运动的核心人物之一，并成为父亲的得力干将和左膀右臂。1978年，他成为库尔德民主党的重要领导成员。1979年，他父亲穆斯塔法去世，巴尔扎尼在库尔德民主党第九次全国代表大会上当选为主席。