相传，古时候有一位朝廷巡按要从灵山打道去廉州府。来到现在仙人桥这个地方，发现此处原有的一座桥梁已被洪水冲垮，且急无法通过。廉州知府急了，下令灵山的地方官在三日之内把桥修好，违者杀头。
地方官不得不务工加紧修桥，但因时逢雨季，刚架起桥架就被一阵山洪冲个桩木全无，如此接二连三，眼看限期已到，地方官急得蹲在前面空空的桥头上挞地痛哭。
这时，一阵轻风吹过，地方官抬起头来，看见一位衣衫褴缕的老太婆正站在跟前。老太婆问：“你何故哭得如此伤心?”地方官说：“此桥修不起来，明天就被杀头了，我死不足惜，往后我夫人、我儿子怎么过啊?”地方官说着又嚎哭起来。
老太婆说：“你怎么不多拿出些银两多雇些人工修桥啊!”地方官说：“此桥修了三次，又被洪水冲了三次，府上的银两早就用完了。”老太婆说：“你家里的银两呢?”地方官说：“我家里哪有银两哦!”老太婆说：“咳，哪有当官不发财的!原来你也是个要财不要命的官。”地方官听了，感到十分委屈，蓦地站起来抓住老太婆的手说：“走，到我家看看去”。
老太婆却笑笑说：“不必看了，我早就知道你是个勤政清廉的官。”说着撩起裙裤说：“我脚上有一个脓疮，你肯用嘴舌帮我把脓汁舔干净，我就帮你把桥修好。”地方官听她这样说，正要发作，看见老太婆也实在可怜，心想死期都到了，还有什么脸面可顾，事已至此，也只好死马当活马骑。
他俯下身正要为老太婆舔脓疮，可是老太婆脚上的脓疮却不见了。只听老太婆说：“桥修好啦!”地方官抬头一看，一条结结实实的泥桥正出现在他的眼前。
地方官又惊又喜又激动，噗声跪拜在老太婆跟前，可转眼间，老太婆却不知去向了。事情不知过了多少年，这座泥桥不但不被洪水冲垮过，还会自然地长高增宽。
后人说那老太婆是位仙人，于是就把这座桥叫仙人桥了。据说在仙人原来站的地方，每逢下雨时总有一双雨水淋不湿的仙人脚印呢。
