西晋惠帝元康元年(公元291年)，是将原属东海郡的兰陵、氶、戚、合乡、昌虑析置兰陵郡，郡名来源于其下辖的兰陵县(今临沂市兰陵县) ，县郡同名，治所不同地。 郡治所设在氶城县(今枣庄市峄城区) 。北魏被废，东魏武定五年(公元547年)复置，来自其郡治在氶、昌虑县。南北朝战乱，行政区划也变得混乱无比，但范围大抵仍在今山因支在重东省枣庄市中东部至临沂市兰陵县一带 。隋开皇三年(公元583)，废兰陵郡。 从此，兰陵郡彻底消失。