临汾史称平阳，因为在平水之阳得名。隋朝开皇三年（583年）改平阳县为临汾县，原因是隋统治者为杨姓，故“恶其名也”而改之。改名“临汾”，是因该县濒临汾水。
公元583年（隋开皇三年），置临汾郡，临汾得名沿用至今。唐实行道、府、州、县制，公元618年（武德初年）为晋州。公元1116年（北宋政和六年），始置平阳府，辖临汾、汾西、洪洞、岳阳、乡宁、赵城、霍邑、浮山、冀氏、和川10县及隰、吉、绛3州。1978年设临汾地区行政公署，辖临汾、侯马2市和16县。1983年临汾县和临汾市合并为临汾市。2000年11月1日撤地设市，成立地级临汾市。
