山西省大部分地区海拔在1000米以上,与其东部华北大平原相对比,呈现为强烈的隆起形势。最高处为东北部的五台山叶头峰,海拔达3058米,是华北最高峰;最低处为南部边缘运城垣曲县东南西阳河入黄河处,海拔仅180米。境域地势高低起伏异常显著。
山西省总的地势是“两山夹一川”,东西两侧为山地和丘陵隆起,中部为一列串珠式盆地沉陷,平原分布其间。东部是以太行山为主脉形成的块状山地,由北往南主要有恒山、句注山、五台山、系舟山、太行山、太岳山和中条山脉及其所属的历山、析城山等,其山势挺拔雄伟,海拔在1500米以上。西部是以吕梁山为主干的黄土高原,自北向南分布有七峰山、洪涛山和吕梁山脉所属的管涔山、芦芽山、云中山、黑茶山、关帝山、紫荆山、龙门山等主要山峰,海拔多在1500米以上,关帝山海拔最高达2831米。由北而南珠串着彼此相隔的雁北、忻州、太原、吕梁、阳泉、长治、晋城、临汾、运城九大“多”字形断陷盆地。全省主体轮廓很像一个“凹”字形。