光熙元年（306年）九月，司马越为了扩张势力，派刘琨出任并州刺史、加振威将军、领护匈奴中郎将。刘琨带领一千余人辗转离开首都洛阳，于307年（永嘉元年）春到达晋阳（今山西太原）。当时的晋阳经历战乱，已成一座空城。刘琨在左右强敌环俟的环境下安抚流民，发展生产，加强防御。不到一年晋阳就恢复了生气，成了晋朝在中原的少数几个存留抵抗势力之一。

当时的晋阳南面是强大的匈奴汉国，北面是正在崛起的鲜卑代国，东面是和段部鲜卑结盟的幽州刺史王浚。刘琨和拓跋鲜卑首领拓跋猗卢结为兄弟，和前赵石勒等大将的战斗互有胜负。河南人徐润因通晓音律得到刘琨的重用，但是此人无能而跋扈。奋威将军令狐盛进言要刘琨除去徐润，反被徐润诬杀，造成其子令狐泥等人的反叛。刘琨吸引了许多志愿抗击匈奴、羯人的志士，但他的政治军事才能也使不少人离去。

建兴元年（313年），晋愍帝继位，封刘琨大将军、都督并州诸军事，加散骑常侍、假节。建兴三年（315年），刘琨被晋愍帝封为司空、都督并冀幽诸军事。刘琨辞去司空，接受都督之职。不久，代王拓跋猗卢被其儿子拓跋六修杀死，拓跋普根平定叛乱也因病而死，刘琨在拓跋部作为人质的儿子刘遵同箕澹等率3万余人投奔刘琨。

建兴四年（316年），石勒出兵进攻并州，刘琨不听箕澹劝阻全军尽出，中伏大败，丢失并州，只身投奔幽州刺史、辽西鲜卑左贤王、假抚军大将军段匹磾，并与其结为兄弟。同年，刘曜攻破长安，晋愍帝被俘，西晋灭亡。刘琨令长史温峤向司马睿劝进。司马睿称帝后，加封刘琨为侍中、太尉，其余官衔不变，并赐他名刀一把。

建武元年（317年），段匹磾以刘琨为大都督，率军讨伐石勒。结果段匹磾堂弟段末杯接受石勒贿赂，不肯进军。刘琨因势弱只得退兵。

太兴元年（318年），段部鲜卑内斗，段末杯击败段匹磾自任单于，并俘虏了刘琨的儿子刘群。刘群得到段末杯的厚待，便给刘琨写密信邀请他共击段匹磾，谁料密信被段匹磾截获。段匹磾虽相信刘琨，但最终还是将刘琨下狱。刘琨素有名望，拘押期间，远近之人尽皆愤叹。代郡太守辟闾嵩与刘琨部下将领企图反叛段匹磾救出刘琨，因泄密而失败。东晋权臣王敦派人密告段匹磾，让他杀掉刘琨。刘琨听说王敦来使，便对儿子刘遵说：“处仲（王敦）使来而不我告，是杀我也。死生有命，但恨仇耻不雪，无以下见二亲耳”。

同年五月初八，段匹磾自称奉皇帝诏旨将刘琨缢杀，子侄四人同时遇害。刘琨时年四十八岁。东晋因段匹磾势力强大，还要依靠他讨伐石勒，因此没有吊祭刘琨。刘琨死后，世子刘群、姨甥卢谌、内侄崔悦等投奔辽西段末杯，而部下将佐大都投靠石勒。

太兴三年（320年），刘琨的从事中郎卢谌、崔悦等上表朝廷为刘琨鸣冤，太子中庶子温峤也上表附议。晋元帝于是追赠刘琨为侍中、太尉，谥号为愍。

刘琨与祖逖一起担任司州主簿时，感情深厚，不仅常常同床而卧，同被而眠，而且都有着建功立业，成为栋梁之才的远大理想。一次半夜，祖逖听到鸡叫，叫醒刘琨道：“此非恶声也。”意思是，这是老天在激励我们上进，于是与刘琨到屋外舞剑练武。

刘琨善吹胡笳。曾有数万匈奴兵围困晋阳。刘琨见势不妙，如与敌军硬拼，必然兵败城破，于是一面严密防守，一面修书请求援军。过了七天援军还未到，城内粮草不济，兵士恐慌万状。刘琨登上城楼，俯眺城外敌营，冥思苦想对策。忽然他想起“四面楚歌”的故事，于是下令会吹卷叶胡笳的军士全部到帐下报到，很快组成了一个胡笳乐队，朝着敌营那边吹起了《胡笳五弄》。他们吹得既哀伤、又凄婉，匈奴兵听了军心骚动。半夜时分，再次吹起这支乐曲，匈奴兵怀念家乡，皆泣泪而回。

大司马桓温自认为雄姿英发，是司马懿、刘琨一类的人物，但却被人比作大将军王敦，因此很不高兴。桓温北伐归来，带回来一个老婢女。这老婢曾是刘琨的家伎。老婢一见桓温，便潸然泪下道：“公甚似刘司空。”桓温大喜，整冠问哪里像？老婢答道：“面甚似，恨薄；眼甚似，恨小；须甚似，恨赤；形甚似，恨短；声甚似，恨雌。”桓温大为扫兴，抑郁了好几天。

卢谌曾是刘琨麾下的中郎将。段匹磾领幽州，请求卢谌做自己的别驾。刘琨答卢谌诗：“情满伊何？兰桂移植。茂彼春林，瘁此秋棘。”是说卢谌放弃自己而投奔段匹磾。后来，刘琨命箕澹（姬澹）攻打石勒，全军覆没，从此穷蹙而不能自守，于是率众投奔段匹磾，被段匹磾所拘留。刘琨再赠卢谌诗：“朱实陨劲风，繁英落素秋。何意百炼刚，化为绕指柔。”其诗托意欲以此激将卢谌而救急，卢谌不得要领。刘琨被害后，卢谌才开始上表以雪其冤。

刘琨精通音律，创作了《胡笳五弄》（包括《登陇》《望秦》《竹吟风》《哀松露》《悲汉月》五首琴曲），在传统的琴曲中加入北方游牧民族的音调，描写北方历经战乱的景象，抒发了思乡爱国之情。

曾经有一次前赵匈奴围攻晋阳，刘琨登城清啸，半夜又奏胡笳（一说指挥一队士兵奏胡笳），匈奴人听到后思乡流泪，将军看将士已无心再战，撤兵而去。

刘琨的诗文激昂悲壮，充满对战乱中的流民的同情和抵抗敌人的决心。被囚后所作的《重赠卢谌》是其代表作。此诗前半段引用了姜尚、管仲、陈平、邓禹等人的典故，表达了对晋室的忠诚；后半段描述了自己壮志未酬的心情：“何意百炼刚，化为绕指柔。”

刘琨传世的诗作有：《扶风歌》《胡姬年十五》《答卢谌诗》《重赠卢谌》。

晋刘越石集一卷、刘越石集、刘琨[诗存]、刘琨[文存]

《晋书》将刘琨与祖逖同列一传，并在给予了非常中肯的评价：

“刘琨善于怀抚，而短于控御。一日之中，虽归者数千，去者亦以相继。然素奢豪，嗜声色，虽暂自矫励，而辄复纵逸。”

“刘琨少负志气，有纵横之才，善交胜己，而颇浮夸。与范阳祖逖为友，闻逖被用，与亲故书曰：‘吾枕戈待旦，志枭逆虏，常恐祖生先吾著鞭。’了其意气相期如此。”

史臣曰：“刘琨弱龄，本无异操，飞缨贾谧之馆，借箸马伦之幕，当于是日，实佻巧之徒欤！……及金行中毁，乾维失统，三后流亡，递萦居彘之祸，六戎横噬，交肆长蛇之毒，于是素丝改色，跅弛易情，各运奇才，并腾英气，遇时屯而感激，因世乱以驱驰，陈力危邦，犯疾风而表劲，励其贞操，契寒松而立节，咸能自致三铉，成名一时。古人有言曰：‘世乱识忠良。’益斯之谓矣。天不祚晋，方启戎心，越石区区，独御鲸鲵之锐，推心异类，竟终幽圄，痛哉！”

赞曰：“越石才雄，临危效忠，枕戈长息，投袂徼功，崎岖汾晋，契阔獯戎。见欺段氏，于嗟道穷！”

刘琨死后，卢谌、崔悦等上表为其鸣冤时称：“故司空、广武侯琨，在惠帝扰攘之际，值群后鼎沸之难，戮力皇家，义诚弥厉，躬统华夷，亲受矢石，石超授首，吕朗面缚，社稷克宁，銮舆反驾，奉迎之勋，琨实为隆，此琨效忠之一验也。”

钟嵘《诗品》将刘琨的诗定为中品，评道：“其源出于王粲。善为凄戾之词，自有清拔之气。琨既体良才，又罹厄运，故善叙丧乱，多感恨之词。”

朱熹：“如刘琨恃才傲物，骄恣奢侈，卒至父母妻子皆为人所屠。今人率以才自负，自待以英雄，以至恃气傲物，不能谨严。以此临事，卒至于败而已。”

丁耀亢：“刘琨处晋室式微之日，而能鸣剑从王，舞衣愤义。虽事功不成，志气过人远矣。惜其量盈器褊，中怀刻，残杀善人，奄然憔悴，又安怪闻鸡之业不终？”

王世贞：①（石崇）《思归引》、《明君辞》情质未离，不在潘陆下，刘司空亦其俦也。《答卢中郎》五言，磊块一时，涕泪千古。②余每览刘司空“岂意百炼刚，化为绕指柔”，未尝不掩卷酸鼻也。呜呼！越石已矣，千载而下，犹有生气。彼石勒段磾，今竟何在。

王夫之：“琨乃以孤立之身，游于豺狼之窟，欲志之伸也，必不可得；即欲以颈血溅刘聪、石勒，报晋之宗社也，抑必不能；是以君子深惜其愚也。”

余嘉锡：《开元占经》百十五引京房曰：“鸡夜半鸣，有军。”又曰：“鸡夜半鸣，流血滂沱。”盖时人恶中夜鸡鸣为不祥。逖、琨素有大志，以兵起世乱，正英雄立功名之秋，故喜而相蹋。且曰非恶声也。此与尹纬见祆星喜而再拜，用心虽异，立意则同。

祖父：刘迈，曹魏相国参军、散骑常侍。

父亲：刘蕃，光禄大夫。前赵攻陷并州时，为令狐泥所杀。

母亲：太原郭氏，郭镇之女，郭槐堂妹，贾南风堂姨，与刘蕃一同被害。

兄长：刘舆。

妻子：崔氏，清河东武城崔参之女，崔悦的姑母、温峤和卢谌的姨母。

儿子：

1、刘遵，庶长子，曾在代王拓跋猗卢处为质子。

2、刘群，世子，后依附段末波，后赵中书令。

侄子：

1、刘演，刘舆之子，都督、后将军，假节。

2、刘胤。

3、刘挹，东海王司马越掾属。

4、刘启，后赵尚书仆射，东晋前将军、给事中。

5、刘述，后赵侍中，东晋骁骑将军。

外祖：郭镇，字季南，太原阳曲人。曹魏名将郭淮之弟，谒者仆射。

舅舅：郭奕，字泰业，太原阳曲人。历任雍州刺史、尚书。

姐夫：司马荂，赵王司马伦之子。

连襟：卢志，卢谌之父。温襜，温峤之父。

1、拓跋猗卢，拓跋鲜卑人，代国王。

2、段匹磾，辽西段部鲜卑人，东晋幽州刺史。

《晋书·卷六十二·列传第三十二》

1994年电视剧《东方小故事之闻鸡起舞》：毛竹饰演刘琨。