在《水浒传》中，他出现在第六回《九纹龙剪径赤松林，鲁智深火烧瓦罐寺》中。他的身份是一名道人，但从书中描写来看，分明是一个江湖恶徒，借道人这个外挂为非作歹，因此，从其绰号“飞天夜叉”可见一斑。
在霸占瓦罐寺的“双恶”中，丘小乙的地位明显不及生铁佛崔道成，从鲁智深到达瓦罐寺中所见就知晓，崔道成在寺中吃肉喝酒玩美女，丘小乙却只得去买酒买肉当跑腿儿的。
丘小乙的人品自然是差的，且不说他助恶生铁佛强占寺院，就从他买酒肉回来所唱的调子就看得出来：“你在东时我在西，你无男子我无妻。我无妻时犹闲可，你无夫时好孤凄。”
这分明就是流氓痞子的德性。
丘小乙的武功也不咋嘀，在鲁智深面前，他只能是抽冷子打闷棍的角色。
在鲁智深第一轮与崔道成掐斗时，他看到斗了十四五合的崔道成要输了，就拿了把朴刀从背后下手，二人联手，把肚子里没东西的鲁智深给打败了，跑了。
在鲁智深遇到史进吃饱了肚子找回来之后，他又是鲁崔二人对掐的观众，见崔道成挺不住了时再次出场，不过这回被九纹龙给截了。
他与史进的功夫无从判断，文中也没介绍他们斗了几个回合，只是说丘小乙看到鲁智深干趴了崔道成，无心恋战，转身想溜，却被史时赶上，一刀给放倒，然后乱刀捅死了。
如果从整个书中史进的表现来看，史进的武功还是比较高的，那丘小乙能与他对拼一会儿，也应有不错的底子。
不过他始终是一个龙套，他的出现，只是为了成全水浒英雄的威名罢了！
