西晋惠帝元康元年（公元291年），将原属东海郡的兰陵、氶、戚、合乡、昌虑析置兰陵郡，郡名来源于其下辖的兰陵县，县郡同名，治所不同地。郡治所设在氶城县（今山东省枣庄市峄城区）。北魏被废，东魏武定五年（公元547年）复置，其郡治在氶、昌虑县。南北朝战乱，行政区划也变得混乱无比，但范围大抵仍在今山东省枣庄市中东部至临沂市兰陵县一带。隋开皇三年（公元583），废兰陵郡。从此，兰陵郡彻底消失。西晋元康元年设兰陵郡，辖兰陵（今临沂市兰陵县、枣庄市台儿庄区）、氶（今枣庄市峄城区）、戚（今济宁市微山县）、合乡（今济宁市邹城市）、昌虑（今枣庄市滕州市羊庄镇），因氶位于五县中央，故设兰陵郡治所于氶城县，兰陵县治所仍在兰陵城。县郡同名，治所不同地。