1949年1月10日，淮海战役胜利结束，江北地区基本上获得解放。为推进解放区行政管理正规化，并从调整区中调剂出大批干部随军南下，2月，中原局根据中央恢复原旧边界的指示，决定调整行政区划，撤销豫皖苏分局(1948年8月，改豫皖苏区党委为豫皖苏分局)及其所属地委、军分区，将原属安徽之地域归建安徽，重新划分和合并地委、军分区。3月12日，以豫皖苏之4、6分区大部，2、3分区一部分为基础组成阜阳军分区，归皖北军区建制领导。辖阜阳、太和、亳县、蒙城、涡阳、凤台、临泉、颍上8县和界首市。部队有12团、独立1团、阜阳县团；7个县大队，99个区中队；警卫营、侦察连、通信连、骑兵连，计15480人。1949年底，兵员减为7532人。1951年，县、市人武部建立，军分区辖阜阳、太和、亳县、蒙城、涡阳、临泉、颍上、阜南9县人武部和界首市人武部。1952年，隶属于安徽军区，编制820人。1975年底，与浙江金华军分区对调，番号改为浙江省金华军分区，隶属浙江省军区。原浙江金华军分区调归安徽省军区，称安徽省阜阳军分区，辖阜阳县、阜阳市、太和、亳县、蒙城、涡阳、利辛、阜南、颍上、临泉、界首11个县市人武部。