源自陶渊明的《桃花源记》。
武夷山桃源洞位于武夷山六曲畔内，此地穷极幽深，石崖相倚成门，复履婉转而入，石桥下溪涧流水，内忽平旷，日月放生潭布列洞口，四面环山，桃林片片；田畴可一、二十亩，彷如陶渊明笔下“世外桃源”，故得名。
道观创建于唐朝天宝年间(742-756年)，是时武夷山仙灵之说吸引大批高士来此隐居修炼。会稽女冠孔氏、庄氏、叶氏(后人称三皇元君)结伴来武夷修炼，后皆结茅于桃源洞，并开发成一方避世隐居的乐土，桃树成林。
宋儒陈石堂、高士吴正理也曾居此炼养著述，道教南宗五祖白玉蟾真人也隐居桃源炼丹。
元朝时扩建刘文简祠、三元庵，主奉三官大帝、刘文简公等神像。明朝，桃源道观已远近闻名，是武夷山主要道观之一。当时修建了三清殿、三皇元君殿、三官殿、真武殿、娘娘殿、功德祠等殿堂，殿堂占地面积有二千多平方米，修真高道多选此地居之;明吴拭《小桃源洞访道人》诗云:「……，穷源有古村，二三避世客;避世非避秦，栖心炼精魄;春田自耕割，衣食无需索;风动棕花落，雨过药苗摘。」道观经过清朝衰微破落，已有多处殿堂倒塌。民国二十五年(1936年)，著名华侨胡文虎先生偕同海军司令萨镇冰先生来此朝山游玩，见道观破烂不堪，胡先生当场捐赠五百大洋作为重修资金，并一同题写「小桃源」匾额挂于山门上。
道观经过「文革」破坏，只剩下中间一座殿堂空壳
