临泉，古称沈地。公元前1042年，周文王十子聃季载封于沈，境内建立沈子国。公元前506年，沈为蔡国所灭，后蔡为楚国所灭。
秦始皇二十六年(公元前221年)置平舆县。西汉时西部置鲖阳县。
东汉永建元年(公元126年)置阜阳侯国。
隋开皇三年(583年)年始置沈丘县。
唐武德元年(618年)在今境内东部置高塘县。贞观元年(627年)入淮阴县。
宋属顺昌府。明初入颍州。
清雍正十三年(1735年)，颍州升为府，设阜阳县，即为阜阳西乡之地，在驿口桥(今老集)设府同知，在沈丘集(今县城)设巡检司。
民国二十三年(1934年)9月，析阜阳县西乡设立新县，因县城滨临泉河，故名临泉县，属安徽省第七行政督察区。1947年～1949年，境内分置临泉、泉南、泉阳三县和临泉市，归豫皖苏区第四地委、四专署所辖。1949年将三县一市撤销恢复旧临泉县，属皖北人民行政公署阜阳专区。1952年属安徽省阜阳专区，1971年属安徽省阜阳地区，1996年属安徽省阜阳市。
