阜阳在周代称为胡子国。公元前495年楚灭胡,改称汝阴地;公元前221年,蓁建汝阴县,隶属陈郡;汉代汝阴县隶属汝南郡;三国·魏景初二年(Z38年)置汝阴郡,治汝阴县;南北朝·北魏孝昌四年置颍州;唐初曾更名信州,北宋末更名顺昌府。州、郡、府之名历代虽有更易,但治所县名仍称汝阴,直到元代至元二年(1265年)撤汝阴县,县地直属颍州,汝阴之名方才取消。明代和清初,颍州治所均未设县。清雍正十三年(1735年),安徽巡抚王纮认为颍州地域过大,应升为府,于是上奏朝廷:“上江之直隶颍州,界连豫省,地方辽阔,钱谷而外,刑名时间数倍他属,即本州地方之事,忧虞竭蹶不遑,何能再顾属邑。似应将颍州升为府台,设立知府一员。附廓添设知县一员,即以颍州原治地方为新县管辖……恭候钦定佳名。”雍正准奏,升颍州为颍州府,附廓(同城)所设新具赐名“阜阳县”。中华民国元年(1912年),废州府而存县,撤消颍州府,保留阜阳县。中华人民共和国建立后,于阜阳县同城设阜阳专员公署,1971年改为阜阳地区革命委员会。1975年12月于阜阳县城区建县级阜阳市;1979年2月阜阳地区革命委员会改为阜阳地区行政专员公署;1992年12月撤阜阳县、阜阳市,重新组建县级阜阳市;1996年1月,撤消阜阳地区和县级阜阳市,设立地级阜阳市。阜阳是东汉侯国名,在今临泉县黄岭镇。雍正十三年颍州升府时,雍正帝从颍州辖境中选出阜阳作为府治县名。