北魏道武帝登国元年(386)，迁郡治于枋头(今河南浚县枋城)，孝文帝太和二年(488)，郡治复迁汲县。

北周武帝宣政元年(578)，废汲郡。

隋朝初年废。炀帝大业三年(607)，改卫州为汲郡，郡治卫县(今河南浚县卫贤)，唐天宝、至德时曾改卫州为汲郡。

唐高祖武德元年(618)，废，地属为义州、卫州分领。

殷末，王子比干，为纣王的兄长，因劝谏纣王被杀，葬于汲郡，其子孙居其地以守陵墓。