响堂寺初建时，称名为石窟寺。北齐天统年间改名为智力寺。唐代称为鼓山寺。宋嘉佑中改名为常乐寺。金代仍称为常乐寺。明代成化以前有称为智力寺也有称为常乐寺的。在这之前，尚未见有“响堂寺”名称的记载。
响堂寺一名的最早出现是在明弘治二年（１４８９年），距石窟寺初建时已近千余年。这个时期，响堂寺是专指位于山腰的石窟寺院，而山下的寺院则称为常乐寺或智力寺。实际将本来一处的石窟寺院分成了上下两处。
那么为什么会出现“响堂寺”这个名字呢？据《资治通鉴》记载：“东魏五定五年虚藏齐献武王于漳水之西，潜凿鼓山石窟佛寺之傍为穴，纳其柩而塞之”。文中提到的鼓山石窟即今北响堂寺。由此可见，响堂寺从表面上看是一处佛教寺院，而实际上是北北齐献武皇帝的“陵寝”。
响堂寺开凿在东魏北齐间，这一时期开凿的石窟形状均为“塔形窟”。我国古代的墓葬，往往在地面上建有砖石建筑，乃祭祀供奉场所，俗称"享堂"。据《辞海》“享堂”解释：“为供奉祖宗神佛之所，以其为供享所在，故曰享堂。”
由是，响堂寺作为高欢陵葬和佛教石窟，称之为“享堂”才是正确的。只是后人以讹传讹将“享堂”叫成了“响堂”。今人无从解释“响堂”之“响”字，便称“拂袖笑谈均能发出铿锵之回响，故名。”继而又演变出神秘的石锣鸣神鼓响了。
