象鼻山的山顶有明初所建的一座喇嘛式的实心砖塔普贤塔，远看像大象背上的宝瓶，又像插在大象背上的宝剑的剑柄，故又称宝瓶塔、剑柄塔。
关于象鼻山和剑柄塔，有个动人的传说——古时候，这头神象随玉皇大帝南巡来到桂林，身患重病遭弃，当地人治好了它，它为报恩，于是留在人间为民耕种劳作。玉皇大帝得知，多次召它回宫，它誓死不从，天兵天将下界捉拿，它奋起反抗，激战数日，浑身带伤。玉皇大帝见暴力无法使它屈服，谎称休战，趁它俯江饮水时，派天兵天将用宝剑插入它的背，神象化作巨石永远留在了漓江边，它那背上的剑柄至今还留着。
