三国魏始置中兵曹，掌畿内之兵，领帐内，督牙门，罚奸诈，均劳逸。东晋元帝司马睿镇东丞相府置中兵曹，以中兵参军为其主官。东晋诸公及主要将军府皆置为主要僚属之一，如南朝宋征虏将军、辅国(师)将军、宁远将军和左右前后将军等属下有中兵参军，亦称中兵参军事，掌本府中兵曹事务，兼备咨询。其品阶随府主地位高下不等。东晋末至南朝宋诸公府省，由中直兵参军兼领中兵曹。齐、梁、陈复置。梁代皇弟府、皇子府、庶姓公府皆置此官，前二府的中兵参军为“六班”，庶姓公府的中兵参军为“五班”。北魏、北齐亦置，其品位随府主地位高低不等。北周以后废。