哈尼于1962年加入非国大军事组织“民族之矛”，不久便成为被称作“七人委员会”的西好望角领导集团的成员。1962年下半年，他因设置路障而被捕，警察从他身上搜出了反对审议中的90天拘留法规的传单。哈尼先是被扣押在菲利皮警察分局，后被转移到罗兰德街监狱。当局依据1950年6月制定的《镇压共产主义条例》对他提出控告。最后，在交纳了500南非兰特的保释金后，被保释出狱。出狱后，他出席了在博茨瓦纳东南边境城市洛巴策召开的非洲人国民大会国内和国外各个组织的代表会议。当哈尼开完会返回南非时，在洛巴策边境入口处再次遭南非警方逮捕，先后被关押在济勒斯特和马弗京。有关当局依照《镇压共产主义条例》对他进行了审讯并判处其一年半有期徒刑，但他又一次被保释出狱以等候上诉结果。1963年初，哈尼的上诉被驳回。但他根据非洲人国民大会的指示没有去监狱服刑，而是转入地下，躲藏起来。他在开普敦坚持进行了大约4个月的地下斗争，同年5月来到约翰内斯堡。在那里，他接到非洲人国民大会的命令，到国外进行军事训练。

60年代中期，哈尼已是“民族之矛”卢图利支队的政治委员。1967年，哈尼被派到罗得西亚南部，与津巴布韦非洲人民联盟的军事干部一起并肩战斗。哈尼以非洲人国民大会和津巴布韦非洲人民联盟联合军事行动卢图利支队政治委员的身份，参加了在万基城特焦洛特焦附近同“罗得西亚非洲步枪队”进行的三场战斗。哈尼在罗得西亚坚持了3—4个月。快到年底时，由于罗得西亚保安部队在该地区加强攻势，他转移到了毗邻的博茨瓦纳境内。就在这年年底，哈尼在博茨瓦纳被捕，被控犯有非法拥有战争武器罪，并被以此罪名判处有期徒刑6年，但他只服了大约2年徒刑便被假释出狱，并被从博茨瓦纳遣送到北部邻国赞比亚。

1974年哈尼奉命回到南非，在好望角一带建立非洲人国民大会的地下组织，为非国大在该地区奠定了政治基础。同年，哈尼被选为非洲人国民大会的主要决策机构全国执行委员会的委员。在此后的7年中，他在南非邻国莱索托领导开展反对南非白人政权的游击活动。1982年，哈尼被召回到赞比亚并被任命为“民族之矛”军队政治委员和副司令员。哈尼很早就走上了反对白人少数统治的革命道路，后加入南非共产党。1984年在南非共莫斯科代表大会上当选为党的政治局委员。

1985年在非洲人国民大会卡布韦代表会议上，哈尼再次当选为全国执行委员会委员。他还在非洲人国民大会政治和军事委员会中任职。1987年11月，哈尼接替了乔·斯洛沃的角色，被任命为“民族之矛”参谋长，同时仍保留了副司令员的职务。他负责“民族之矛”的日常军事活动，只向当时的非洲人国民大会主席奥利弗·坦博和“民族之矛”军队司令员乔·莫迪斯负责。哈尼还是权力很大的非洲人国民大会全国工作委员会的成员。

哈尼的顽强斗争，使白人右翼势力恨透了他。就在80年代开展游击战争期间，哈尼曾两次遭到暗算，但都幸免于难。他说过：“我这一生大部时间都与死亡为伴，我要生活在一个自由的南非，即使我为此付出生命。”

1990年2月，非国大在南非获得合法地位后，南非当局的安全部门千方百计地阻止流亡国外的哈尼和罗尼·卡斯里尔斯等“民族之矛”军事领导人回国。根据南非法律，哈尼等人如果在没有得到大赦的情况下返回国内，可以被控犯有严重刑事罪行。经过斗争，当局做了让步。同年，哈尼作为同比勒陀利亚白人统治者谈判小组的成员，从赞比亚返回南非。

哈尼返回南非后，最初住在黑人居住区特兰斯凯首府乌姆塔塔原由乔治·马坦济马总理使用的政府官邸中。后来,他搬到了保守的种族主义白人占支配地位的种族混居区——约翰内斯堡的博克斯堡郊区，并且与他的新邻居们相处得很好。

1991年7月2—7日非洲人国民大会在德班召开恢复合法地位后的首次全国代表会议，哈尼在会上成为90名全国执委会委员候选人中最得人心的候选人，其得票率高居首位，达94.7%，是50名当选委员之一。

哈尼赞成就南非向非种族主义的民主国家过渡问题与政府进行和谈，认为放弃这种谈判是不明智的，但主张要以确保“非洲人国民大会及其领导下的群众斗争决定谈判的步伐和进程”，以便恢复和掌握“战略主动权”。他要求继续重视武装斗争，对政府、白人右翼持强硬态度，认为过多的让步会损害自己在黑人群众中的威信，削弱自己的力量。他曾表示，尽管非国大在与政府进行谈判，但是，如果白人不打算放弃政权的话，不能排除夺取政权的可能性。由于在谈判中的不妥协态度，哈尼常常被人称为“激进派”，这也使他成了南非黑人青年的崇拜者和追随者。特别是他对非国大谈判方针的宣传和解释，对于黑人青年有着独特的说服力，对非国大团结和引导黑人青年起到了不可替代的作用。

1990年7月29日，南非共产党作为合法组织重新开始活动后，宣布哈尼是党的中央委员会委员，并且是由22人组成的党的临时领导集体的成员之一。1991年时为党的副总书记。这年年中，哈尼申请放弃自己在非洲人国民大会全国工作委员会和“民族之矛”部队中担负的职务，专心致力于南非共产党的工作。

1991年12月5—8日，南非共在约翰内斯堡召开第八次全国代表大会。这是该党41年来首次在国内合法举行的代表大会。大会通过了南非共产党宣言和新的党纲，选举产生了新的中央委员会，哈尼当选为党的总书记，斯洛沃担任名誉职务党的全国主席。哈尼在会上发表讲话，重申要坚持马克思列宁主义原则，认为向社会主义前进是不可阻挡的趋势，表示要继续奋斗，直到“建成一个社会主义的南非”。在群众的压力下，哈尼领导南非共拒绝走社会民主主义的道路。

哈尼当选为南非共总书记以后，继续参加了与政府的和谈，并且采取了比以前温和得多的立场。尽管他一如既往地憎恨白人统治者，把他们称为人民的压迫者，认为“这个非法的、没有代表性的政府连一天都无权统治”，但他仍为了民族的和解和国家的统一而四处奔波、呼吁。经历了长期的反对种族主义的斗争之后，他渴望通过谈判实现变革，并且采取了现实主义的态度。1992年11月，他在接受美国《时代》周刊记者采访时说过：“在谈判中不接受妥协是不现实的，因为我们并没有战胜对方。”他建议解散非洲人国民大会为保护黑人社区而成立的青年武装组织。他谴责泛非国民大会进行武装斗争的做法，认为战争已不合时宜，谈判是解决问题的唯一途径。他说，一旦南非实现民主，他不会谋求总统一职，而宁可在政府外批评和监督政府，督促政府为人民做好事。

1993年4月10日，克里斯·哈尼在约翰内斯堡东南博克斯堡郊区自己的寓所前遇刺身亡。在他被害的当天，两万多人前往他家悼念。非洲人国民大会主席纳尔逊·曼德拉当晚发表电视讲话，对哈尼被刺深表“悲痛和愤怒”，认为哈尼是为南非的“自由”献出了自己的生命。非洲人国民大会发言人称哈尼是“数百万南非人心目中的英雄”。南非总统德克勒克及南非政界的黑人和白人领袖都对这起谋杀事件予以谴责。14日，全国150万人举行集会和游行哀悼他的逝世。19日，南非10万多悲痛和愤怒的群众为哈尼举行了隆重的葬礼。黑人群众纷纷举行示威活动，抗议白人极端主义分子的暴行，并与警察和白人发生暴力冲突，造成了新的伤亡。