国内史籍最早记载介休历史为周代鲁隐公五年（前718年）。时，曲沃庄伯伐翼，晋翼侯奔随（在今介休城东），当时为晋大夫士会食邑。公元前636年，晋文公返国赏随臣，介子推不言禄，与母隐居绵山。晋文公焚林求贤，子推不出，竟与母抱树而死。后，介休即依介子推死于此而得名。
民国26年（1937年）介休县成立抗日县政府，属山西省第四行政区。民国30年（1941年）属太岳专属。民国37年（1948年）介休解放后，属晋中区三专属。
1949年2月属太原市三专属，同年9月，属榆次区行政督察专员公署。1950年8月属榆次专署。1958年属晋中专署。1992年2月10日，国务院批准介休撤县设市，仍隶属于晋中行署。1999年9月，国务院批准撤销晋中地区，设立地级晋中市，县级介休市改由山西省直辖、地级晋中市代管。
