他生于顿巴斯矿区一个矿长的家庭。1927年毕业于罗斯托夫音乐学院，1927-1928年参加红军。从1932年至去世，一直是彼亚特尼茨基俄罗斯民歌合唱团的艺术指导。《沿着村庄》（1934）使他一举成名，随后又写出卓越的《小路》、《空旷的田野》、《有谁知道他》等作品。卫国战争期间，他创作了《雾啊，我的雾》、《光荣归于强大的苏联》和《卡秋莎大炮》等出色作品。查哈罗夫的作品旋律优美、明朗，具有浓郁的土生土长的俄罗斯民歌风格。他喜爱多声部音乐，大部分作品都类似民歌中的衬腔多声部歌曲，而且还需要用俄罗斯民间真嗓来演唱。