《周礼》以大司马为夏官之长。西汉武帝刘彻于建元二年（前139）罢太尉，元狩四年（前119）始置大司马，加于大将军、骠骑将军、车骑将军、卫将军号前，如大司马大将军，大司马骠骑将军，大司马车骑将军，大司马卫将军。西汉宣帝时，外戚许延寿（许嘉）、史高、张安世以大司马车骑将军身份辅政，遂开以后王商、王凤、王音等以外戚预政都须加上大司马车骑将军之类头衔的先声。西汉前期车骑将军掌领车骑士，典京师兵卫，掌宫卫，是战车部队的统帅，在车骑将军前加大司马，使其拥有辅政之权，居此位者由军队的最高将领一变而为文职的宰辅之官，大司马车骑将军尽管位在丞相下，但实权则在丞相之上。汉成帝末，确立了三公制。大司马后面不再联以将军之号，和丞相、大司空并列为三公。三公为皇帝的三个最高辅政之臣，但仍以大司马居首位。掌权重臣如董贤、王莽等，东汉三国时的李傕等，职位都为大司马。