西汉文帝年间郴州东门外住着一户姓潘的人家。有一天年方二八的潘家姑娘到郴江边洗衣服，从上游漂来的一根红丝线缠住了她的手指，潘姑娘想用牙齿咬脱红丝线，不料红丝线却溜进了她的肚子里。不久潘姑娘怀孕了，后来她躲到离家不远的牛脾山桃花洞里生下一个男孩取名苏耽。苏耽没有衣服，洞外水池边的白鹤用自己的双翼覆盖着他；没有奶吃,洞里的一只白鹿就用奶水哺育他。苏耽长大懂得孝敬母亲，尊敬呵护他的白鹤和白鹿，后来他得异人传授仙术，13岁时修道成仙，跨鹤飞去。
人们为了纪念苏耽，把牛脾山改名为苏仙岭，把桃花洞改名为白鹿洞，并在苏仙岭顶上建造了苏仙观。
