1947年，克利马出生于音乐之都维也纳。做小学教师的父亲是社民党积极分子，克利马从小就受到了父亲的政治影响。他常常和父亲一起上街张贴社民党的宣传画。后来，克利马进入维也纳技术大学管理和商用计算机科学系学习，不久就加入了社民党。1969年，克利马到奥地利最大的国营石油公司O M V 工作。他成了闻名全公司的工作狂，有一次，竟连续工作了15个小时。1990年，克利马成为这家公司的执委会成员，由于他的协调，3000 多职工“下岗”，没有引发劳工冲突。克利马善于处理劳工矛盾的才能引起了社民党领导人的关注。1992年，社民党人弗拉尼茨基组阁，请克利马出任公共经济与运输部长。任期三年中，克利马又成功地完成了一些负债累累的大型国企的民营化。1995年，克利马出任财政部长，他为保证奥地利达到首批加入欧元区的目标立下汗马功劳。1997年1月，弗拉尼茨基在执政10多年后宣布辞职，克利马成为理所当然的接班人。