公元前658年，即五鹿城建起的那一年，晋国国内发生了动乱。晋公子重耳为避国难，领着他的亲随逃到了狄国；国内随即派人追杀，他们只好离开狄国，准备投奔齐国。路途经过曹国，曹国君主根本不管饭，第二天就把他们赶走。接着到了卫国，卫国君主更干脆，让他们吃了闭门羹，连面也不让见。这群不幸的落难者，辗转来到距齐国不远的卫国边境城邑五鹿野外，疲惫不堪，又饥又渴。重耳一行只好丢下面子，向路边的农夫讨饭吃，不料农夫给了他们一块土坷垃。晋文公受了几天的气，这时候再也忍耐不住，抬手要打农夫。但是他刚要扬起的手被舅舅狐偃拦住，狐偃对他说，给你土块就是给土地，土地象征江山，这是拥有国家的吉兆。重耳只好忍下这口气，借坡下驴，装上土块赶奔前程。公元前636年，这位已是62岁的老公子重耳终于苦难到头，不仅做了国君，还当上中原霸主。

公元前632年，刚刚坐上中原霸主之位的晋文公，想起落难时在曹、卫两国受到的冷遇，就要以怨报怨，攻打曹、卫两个国家。他出发前佯言要攻打曹国，向卫国借道，实际上要把两国一块消灭。卫成公一来刚刚与曹国一块归附楚国，怕得罪楚、曹二国；二来知道先君卫文公当年曾对晋文公无礼，晋文公这次肯定来者不善，顺便将曹国、卫国一块收拾很难说，就没敢答应晋国过路借道的要求。这也早在晋文公的意料之中。晋文公一边派使者到卫国去，一边早就率领着大队人马绕到卫国南边一个叫南河的地方，由这里渡过黄河，来至卫国边境。晋文公远远望见他早年落难路过的五鹿城，不由触景生情。他想起了受过的磨难，想起了同患苦难、又被他无意用火烧死的介子推。原来，当年晋文公落魄五鹿城外，向百姓要饭，百姓不给，还给他难堪，随从的臣子介子推看不下去，偷偷忍痛割下自己腿上的肉，炖了一锅野菜给他充饥。晋文公多天不闻肉香，见着“肉”菜，狼吞虎咽，很快填饱饥腹。晋文公吃饱喝足，才得知饭菜的来历，差点没有把肠胃吐出来。他眼睁睁地瞧着介子推裤管不住地往外渗血，又羞愧又心疼。晋文公做人崇尚以德报德、以怨报怨，他做上国君，就要封赏介子推，但介子推施恩不图别人报答，与母亲一起躲进深山。晋文公用火烧山，想逼他出来；介子推母子仍然不肯出，结果双双被大火烧死。事情虽然过去多少年了，但晋文公记忆犹新，好像刚刚发生在昨天。此时，他手指着远处的五鹿城，命令将士马上攻打，似乎要把过去的怨恨全泼洒在这座城上。五鹿守军不意晋军猝到，未及准备，官兵个个惊慌失措，仓皇逃窜，五鹿城轻易被晋军夺得。晋文公登上城头，极目四望，不由想起舅舅狐偃劝慰自己的那番话，嘴角露出一丝得意，他对身边的将领说：“当初我来到这里，老百姓给我土坷垃，舅舅说这是要得到土地的先兆，今天果然应验！”而此时正在国都楚丘惊恐不定的卫成公，一听晋国夺了五鹿城，吓得赶忙逃离卫国。晋文公派了一个将军守住五鹿城，又去攻打曹国，曹国也很快被打下，还擒获他们的君主。后来，卫、曹两国苦苦哀求，答应与楚国断绝关系，归附晋国，晋文公才准许卫、曹两国复国。五鹿城被晋军占领半年，又回归卫国。

公元前559年（鲁襄公十四年），卫国发生叛乱，卫献公逃奔齐国。十一年后（公元前548年，鲁襄公二十五年），中原霸主晋侯为了得到卫国的夷仪城，派魏杼、宛没到齐国去，接回卫献公。齐国养活卫桓公十一年，不能白着，这位落难君主临走时，齐国大夫崔杼质押了他的妻子儿女，以迫使卫国答应把五鹿城送给齐国。但是不久，齐大夫崔杼忙于内乱，直到后来被国人杀死，一直无暇顾及索要五鹿的事。五鹿城呢，最终还是和夷仪城一起被晋国得去。晋国获取五鹿城，这可从五世纪中原地区发生的两起战事证明：一个是公元前494年4月，晋将赵稷在距五鹿近二百里的邯郸叛晋，齐景公、卫灵公前去救援赵稷，包围了五鹿城。一个是赵稷叛晋三年后的七月，齐国陈乞、弦施和卫国宁跪援救范氏，也曾经把五鹿城围困。两件事情都能说明，这个时期的五鹿城，已经不为卫人所有，而是落入晋国版图。自此以后，专门记述春秋事迹的《左传》一书就再也没有关于五鹿城的记载。只是检阅《汉书》，从上面发现这样一句：“元城郭东有五鹿之墟”。“墟”，《康熙字典》注曰“故城”，即旧城址之义，说明五鹿城此时已经沦落，不复存在。《汉书》的作者班固是东汉人，死于公元92年，这又说明五鹿城大概毁于东汉年间，或者比这更前。毁灭原因，或可这样猜测：秦汉以前，中原地区战乱不断，一些城池常为敌国所毁。若此，五鹿城极有可能像它的几个国都一样，毁于战火之中。或者，宋以前，黄河曾经两度从大名流过，五鹿城西面不远，便是滚滚黄河。黄河时常为患，吞没此城也极有可能。但不管是毁于战乱，还是毁于水患，终归，五鹿城是从古老的大名土地上永远地消失了。