玄武湖是在岩浆侵入体和断层破碎的软弱部位，经过风化剥蚀发展而成的湖盆，历史上的湖面要比现存的广阔得多。原来只是一块因断层作用而形成的沼泽湿地，湖水来自钟山北麓。
玄武湖初期叫“后湖”或“北湖”，取名后湖的原因是玄武湖的位置正好位于钟山（紫金山）之阴，对南京城的居民来说，山背的这座湖泊当然称为后湖；至于北湖名称的由来，则是因为玄武湖位六朝京城之北，自然取名北湖。
“玄武”这两个字的意义指的是“北方之神”，“玄武湖”和“北湖”这两个名词没有多大的差别。“玄武”是中国神话故事中的四神之一，它的具体形象是龟与蛇的复合体，青龙、白虎、朱雀和玄武共同代表著东南西北四个方位，其中玄武湖实际上就是北湖的意思。
