阜阳在周代称为胡子国。公元前495年楚灭胡，改称汝阴地；公元前221年，蓁建汝阴县，隶属陈郡；汉代汝阴县隶属汝南郡；三国·魏景初二年（Z38年）置汝阴郡，治汝阴县；南北朝·北魏孝昌四年置颍州；唐初曾更名信州，北宋末更名顺昌府。州、郡、府之名历代虽有更易，但治所县名仍称汝阴，直到元代至元二年(1265年)撤汝阴县，县地直属颍州，汝阴之名方才取消。明代和清初，颍州治所均未设县。 清雍正十三年(1735年)，安徽巡抚王纮认为颍州地域过大，应升为府，于是上奏朝廷：“上江之直隶颍州，界连豫省，地方辽阔，钱谷而外，刑名时间数倍他属，即本州地方之事，忧虞竭蹶不遑，何能再顾属邑。似应将颍州升为府台，设立知府一员。附廓添设知县一员，即以颍州原治地方为新县管辖……恭候钦定佳名。”雍正准奏，升颍州为颍州府，附廓（同城）所设新具赐名“阜阳县”。 中华民国元年（1912年），废州府而存县，撤消颍州府，保留阜阳县。中华人民共和国建立后，于阜阳县同城设阜阳专员公署，1971年改为阜阳地区革命委员会。1975年12月于阜阳县城区建县级阜阳市；1979年2月阜阳地区革命委员会改为阜阳地区行政专员公署；1992年12月撤阜阳县、阜阳市，重新组建县级阜阳市；1996年1月，撤消阜阳地区和县级阜阳市，设立地级阜阳市。 阜阳是东汉侯国名，在今临泉县黄岭镇。雍正十三年颍州升府时，雍正帝从颍州辖境中选出阜阳作为府治县名。
