州团练使最早见于岱岳观碑所载圣历元年（698年）兖州团练使。

与此同时，武则天为防御契丹、突厥的进扰，在今河南、河北建立武骑团兵。团练使大约是这些地方军队的统领者，但安史之乱前只在个别地区短时期内设置。安史乱起，全国兵兴，唐王朝又在部分藩镇或属郡设置都团练使、州团练使，以补充节度使的空缺。都团练使自乾元元年（758年）起陆续置于江西、宣歙、浙东、福建、湖南、黔中等不设节度使、都防御使的地区，所辖州数多少不一。史载：“乾元元年，置团练守捉使、都团练守捉使，大者领州十余，小者二三州。”。

唐代宗广德二年（764年），于衡州置“湖南都团练守捉观察处置使”，领衡州、潭州、道州、邵州、永州等五州。

大历十二年（777年）五月，唐王朝诏令除都团练使外，各州团练使全部废除，但不久又部分恢复。