最早见于《春秋_梁传・宣公四年》：“（鲁）伐莒，义兵也。”《吴子・图国》把军队分为五类：“一曰义兵，二曰强兵，三曰刚兵，四曰暴兵，五曰逆兵”，并指出“禁暴救乱”的军队为义兵，义兵必须循礼而行。为了抓住正义的旗帜，各拥兵者无不自称义兵，因此其划分的标准也各不相同。其中，有为推翻残暴统治揭竿而起的起义军，如陈胜吴广“伐无道，诛暴秦”的起义军；有统治阶级为维护其统治、抵御叛逆者而临时组织的武装，如东汉末年“奸臣窃命王室遂卑，于是群雄蜂骇，义兵四合”（晋陆机《辩亡论上》）的军阀武装；有为维护或恢复正统王朝而组织起来的军队，如“王莽末，义兵起”（《后汉书・樊宏传》），指的是刘秀等领导的各路军队；有明末民间的抗清武装――“昆山起义兵”（顾炎武《吴同初行状》）等。随着时代的发展又不断赋予其新内涵。义兵与义战是紧密关联的概念，有时又是通用语。