由闵二年传“羊舌大夫为尉”可知，晋献公时已设有军尉之官。(成十八年)使“卿无共御，立军尉以摄之。祁奚为中军尉，……铎遏寇为上军尉。”又襄十九年传:“公享晋六卿于蒲圃，赐之三命之服;军尉、司马、司空、舆尉、侯奄皆受一命之服。”

由上可见，军尉在军中的地位仅次于军卿（即上述之六卿。晋国上、中、下三军的主帅、副帅共六人，出则为帅，入则为卿，为执政大臣，军政一体），居军中大夫之首。军尉中又以中军尉为最尊，故又称为“元尉”。上军尉次之，又称为“舆尉”。昭五年楚薳启疆云：“韩起之下，赵成、中行吴、魏舒、范鞅、知盈；羊舌肸下，祁午、张趯、籍谈、女齐、梁丙、张骼、辅跞、苗贲皇，皆诸侯之选也。”杜注:“五卿，赵成以下。八大夫，祁午以下。”羊舌肸即叔向，为平公大傅，爵上大夫。中军尉祁午在其下八大夫中居于首位，说明中军尉在晋大夫中的地位仅次于大傅。