黄山是由巨大的花岗岩组成的。2.3亿年前，这里是一片汪洋大海，经过多次地壳运动，特别是在1.4亿年前，由于地壳内部的岩浆的活动，形成了这个巨大的花岗岩体。
起初这个花岗岩体埋藏在地下，后来随着地壳的上升，覆盖在上面的岂石被风化剥蚀掉，花岗岩体像笋尖一样冒出地面。
由于花岗岩石天然生成很多不同方向的裂隙，天长日久沿着裂隙，大自然把这个巨大的花岗岩体雕琢成一座座陡峭的山峰，再加上各部分上升的程度不一样，造成了岩石的断裂，从而形成了悬崖峭壁、深沟峡谷。
实际上黄山的形成源于上亿年前的造山运动。这次造山运动被称为“燕山运动”。在那个时候，地壳板块之间的碰撞和俯冲，使海床爆发，使大量的岩浆从地表涌出，从而形成了黄山的粗坯，并且经历了第四纪冰川运动的洗礼。我们的地质学家叫李四光。发现了黄山第四纪冰川运动留下的痕迹，对我们的地质研究作出了贡献，因此才形成了现在这样一个危岩峭壁花岗岩地貌。因此黄山又被评为世界地质公园。
