鲁班是我国历史上传说的能工巧匠，并且是石木工活的祖师爷。他有一个徒弟叫赵巧，生得聪明能干，虚荣心也很强，很多木活在工艺上已超过师傅，于是就骄傲起来，经常发难师傅鲁班。
有一年，他师徒二人溯江而上，来到双江，见到这两个岩洞临江而生，环境优美，于是萌发了在这两个洞内雕刻石佛，供奉为寺。上方石洞取名上岩寺，下方石洞取名下岩洞。师徒二人约定由鲁班修上岩寺，徒弟赵巧修下岩寺，并只能在半夜子时动工修建，鸡鸣丑时完工，看谁修得又快又好，实际上也是师徒二人技艺的比赛。赵巧知道师傅手艺好，经验丰富，害怕落在了师傅后面，于是不遵守约定，天刚一擦黑就开始刻石修建。鲁班按照约定，半夜子时才开始动工修建。不到鸡鸣，赵巧将下岩寺修刻完毕，内有三佛坐像，500石罗汉排列两旁，伽蓝护法站立有序；洞外石壁上燃灯古佛肃穆慈祥，整个下岩寺修建得十分气派。他见丑时不到，就跑到上岩寺对面长江边装起鸡叫来。本不到鸡叫的时候，其它鸡听到有鸡叫了也就争先恐后的跟着叫了起来。鲁班子时才动手，鸡叫突然提前，他眼看根本完不了工，心里作烦，顺手捡起一砣石头朝对岸鸡叫的地方甩去。这砣石头就是后来立在小盘沱江边硕大的弹子石。上岩寺由于赵巧作了怪，致使里面的石刻成了半截子工程，石像雕刻粗糙，各类佛像配套零乱。我小时候去上岩寺玩耍时，里面一片荒凉，很不成型。下岩寺则是石佛安置有序，雕刻工艺精湛，排列井井有条，游人不绝。据老年人讲，鲁班对徒弟赵巧打翻天印的行径也己经掌握，同时也对这个极有发展前途的弟子的变质感到十分痛心。
后来，东海龙王要求鲁班帮忙给他做一个灯台。鲁班作好后，把赵巧叫来，交给他两个灯台，叫他交给龙王，由他选择一个，并说最两个灯台中一好一差，最好是把差的拿回来，里面装有避水机关。赵巧来到东海边，打开灯台的避水机关，海水立刻分开成一条水道，赵巧从水道中来到了龙宫。鲁班叫他把好灯台送龙王，赵巧自作聪明地将差一点的灯台送给了龙王，自己却将好灯台揣在怀中带回。谁知好灯台根本就无避水机关，分不了水，于是赵巧再也回不了地面了。赵巧聪明反被聪明误，却永远留在了海底。这就是后来人们传说的：“赵巧送灯台，一去永不来” 的典故。
