传说中这只神龟曾是洞庭湖龙王垫椅脚的灵龟，有一天它溜出龙宫逛游，误了回宫时间，怕被龙王责怪，便躲藏起来。
当时湖光岩的湖底与洞庭湖是相通的，此灵龟便由此通道逃到湖光岩，不料被这美丽的风光和楞严寺的诵经声所吸引，决定停留此地。
不久，这事被洞庭湖龙王知道了，龙王把洞庭湖的水都流向湖光岩，想淹没湖光岩和楞严寺，以惩罚灵龟。
灵龟为了保护湖光岩的生灵，把自己肚里的灵珠吐出来，堵住湖底洞口，不让洞庭湖水涌来。
灵龟吐出灵珠后就死了，尸体飘到湖南边，头向着楞严寺，化作了石龟。每年正月十五，到湖光岩放生“灵龟”成为了当地居民的习俗。
