检非违使设立的具体时间并不可考，但可以确定是发生在52代嵯峨天皇执政的弘仁年间（810年－824年）。在此之前的律令制下京城外城的治安由左右卫门府负责，行政监察、风俗取缔由弹正台担任，民事诉讼与司法裁判权由刑部省掌握，另外还有与以上几个京官相区别、属于地方官的左（东侧）右（西侧）京职，则以京城的南北中轴线为界，分别统一管辖所有与行政、治安和司法有关的事情。而检非违使最早正是出自其中的卫门府。在弘仁7年（816年）曾出现了由左卫门大尉兼任检非违使的记载（《文德实录》）。值得注意的是，在最初的设置中，检非违使在管辖权力上直属天皇，由藏人所负责，并以卫门府官员兼任的方式出现。虽然最开始它只包括官人（1名）、府生（1名）和火长（5名），可是在职权上被确定为与弹正台相当（《左右卫门府式》）。后来嵯峨天皇还特别通过勅宣（《别当宣》）的方式制定其长官为别当一级，并在后来的承和元年（834年）正式设立别当一职。