秦代始置汝陰縣；東漢時期屬于汝南郡；三國魏置汝陰郡；北魏孝昌四年（528），置潁州；隋大業三年（607），設汝陰郡；唐設潁州，屬亳州管轄；宋設順昌府；元屬汝寧府；明朝屬鳳陽府。

明朝萬歷十年（1582），在阜陽縣置潁川衛；清雍正十三年（1735）升潁州為潁州府，并以潁州本轄新置附郭縣，乾隆皇帝依奏賜名阜陽縣；民國初年撤銷潁州府。

1949年3月，撤阜陽市，并入阜陽縣；1949年10月，設立阜陽專區專員公署，下轄八縣一個行政辦事處。

阜陽專區有界首市、亳縣、太和縣、阜陽縣、渦陽縣、蒙城縣、潁上縣、阜南縣、臨泉縣和鳳臺縣。

1953年9月，界首市撤銷，建界首縣。

1964年10月，建立利辛縣。

1971年，改阜陽專區為阜陽地區。

1975年12月19日，設立阜陽市（縣級），由阜陽地區管轄。

1977年1月，鳳臺縣由阜陽地區劃歸淮南市管轄。

1986年3月11日，設立亳州市（縣級）。

亳州市由阜陽地區領導（1986年6月4日正式成立）。

1992年，同意撤銷阜陽市、阜陽縣，重新組建阜陽市（縣級）。

1996年1月，撤銷阜陽地區和縣級阜陽市，設立地級阜陽市。

1998年2月，亳州市從阜陽市劃出，由安徽省直轄。

2000年5月11日，將阜陽市管轄的渦陽縣、蒙城縣、利辛縣劃歸新設立的地級亳州市管轄。