西晋的军事制度沿袭曹魏，采用世兵制。晋武帝颁布去州郡兵及封国制，并任众王都督诸州军事。东晋兵制袭用世兵制，并以募兵制补充兵力。由于中央衰落，军力外重内轻，地方方镇较不受朝廷管辖。谢安为了巩固中央，建立北府军。东晋沿袭西晋军事制度，但已有变化。因为皇权衰微，中军往往有名无实，同驻京师的还有扬州都督所属军队。外军大多由世族的军队组成，统军将领称霸一方，其中荆州军甚至超越中央。东晋多次北伐，确有助巩固偏安之局，但如果方镇具有野心，往往借此篡位。关于兵源方面，因为战乱军户大减，兵员改以募兵补充，或直接征兵。其中由北方流民招募组成的北府兵，屡次击败强敌，在东晋后期等级如同中军。西晋军队分为中军、外军和州郡兵，中外军全部兵员都来自军户。中军直属中央，编为军、营，主要保卫京师，有事出征，兵力不下10万人。驻防城内宫殿宿卫、宫门及京城宿卫为宿卫军。驻防京郊，有事出征为牙门军。中军统帅为中军将军，后改为北军中侯或中领军。外军为中央直辖的各州都督所统率的军队，都督一般由征、镇、安、平等将军或大将军担任。州郡兵是地方军备，西晋灭孙吴后，为避免东汉末期诸州割据再度发生，裁撤州郡兵。