南京九华山历史上曾数易其名，因山形象一只反扣的船而名“覆舟山”，古代风水学上，山如覆舟是一种吉祥的象征。
由于此山在都城之北，帝王按“四神”的建都模式，也曾把此山称为“玄武山”，另外还有“真武山”、“龙山”、“龙舟山”等名称。春秋时期，名覆舟山，因其形状很像倒置的船而得名。
六朝时期，覆舟山是都城建康重要的屏障。宫城（台城）离覆舟山很近，覆舟山周围的土地属于上层贵族活动的范围。六朝时期的覆舟山，东际青溪，北临后湖，西近台城，周回不过三里，高不过百米，是一座普通的小山。山虽不高大，但地理位置很重要。
战乱年代，它是宫城的屏障，与东面的龙尾坡、蒋陵同为军事要隘。它的得失，关系着宫城的安危。东晋时，在这一带曾发生两次规模较大的战役。
