“三军”在中国最早起源于周代。在春秋时期，“军”是军队中最大的编制单位，人数通常为一万两千五百人。周朝天子军队可保有六军，而诸侯国最多只能保有三军。当然，也有小国国力不济，最多只能保有两军甚至一军的。如《左传·襄公十四年》中，“成国不过半天子之军，周为六军，诸侯之大者，三军可也”。《周礼·夏官·司马》中“凡制军，万有二千五百人为军。王六军，大国三军，次国二军，小国一军”。大诸侯国虽然都有三军，名字却不尽相同，如晋国三军稱中军、上军、下军，而楚国三军称中军、左军、右军。不过不管怎样，后来三军的称呼就都用来统称整个军队了。
　　春秋时期军队主要由步、车、骑三个兵种组成，所以也有国家将步、车、骑合称为三军。到了战国时期，经过商鞅变法后的秦国对“三军”的划分又与其他诸侯国不同。 《商君书·兵守第十二》 称：“三军：壮男为一军，壮女为一军，男女之老弱者为一军，此之谓三军也。壮男之军，使盛食、厉兵，陈而待敌。壮女之军，使盛食、负垒，陈而待令……老弱之军，使牧牛马羊彘，草木之可食者收而食之，以获其壮男女之食。”
　　到了唐宋以后，三军的划分已成为军队的固定建制。三军的主要划分标准是担任作战任务的不同：前军一般负责开路、侦察及应付小规模的战斗；中军是作战的主力，包括大部分作战部队和指挥系统；而后军主要负责全军的后勤工作，包括负责后勤的民工和随军家属等。三军也有各自的军官配置，但是中军统帅是整个军队的最高指挥。