秦王朝统一全国后，其中东北3郡，未辖吉林。汉朝西汉时期，东北除原设辽东、辽西、右北平三郡外，又增设苍海、乐浪、玄菟、真番、临屯5郡，后苍海郡并入临屯郡，临屯郡并入乐浪郡，真番郡并入玄菟郡。今吉林省东部和南部的长白、图们、敦化、和龙、汪清、龙井、珲春、延吉等市县，先后属苍海郡、临屯郡、乐浪郡；通化、集安、梅河口、靖宇、白山等市县则先后属真番郡、玄菟郡。这是吉林地区进入中原王朝行政建置之始。与此同时和稍后一段时间，吉林的中西部地区属夫余国辖境，东部和东南部分别属挹娄、勿吉、高句丽所有。至唐朝时，唐灭高句丽，吉林的东部和东南部属唐安东都护府辖境。其后，吉林省的大部分地区又属渤海国所有。此外，今吉林西北部地区属唐室韦都护府。

辽朝建立以后，吉林大部地区成为契丹和东丹国的辖区。东丹国被废后，辽朝开始在东北设立道、州、县等，分级管理。吉林境内主要有东京道和上京道，东京道在今吉林中部和东南部；上京道在今吉林西部。此外，对吉林东北部的女真各部实行属国制，分别设各部大王府进行管理。