介休市位于山西省中南部,太行山北侧,北起义安镇任家堡村,南至绵山顶端艾蒿坡;西起义棠镇圪塔头村,东至张兰镇南窑头村。东北与平遥、汾阳接壤,西南与灵石相连,东南与沁源毗邻,西北与孝义相望。全市东西最宽处38.5千米,南北纵长38千米,总面积743平方千米。
介休整个地势形态呈南高北低,海拔740~2487米。南部为山区,主峰有绵山、天峰山等,属太岳山脉,面积312平方千米,占全市总面积的42.09%;中部为丘陵区,面积191.7平方千米,占全市总面积的25.86%;北部为平川区,面积为237.6平方千米,占全市总面积的32.05%。市内汾河横过境北,绵山雄峰屹立在境南。