唐贞观十二年二月，卢惠能在新州夏卢村出生，在出生之后，卢惠能可谓度过了相对幸福的童年，但是这段幸福生活并没有持续太长时间，卢家随着卢行瑫的去世而进入了窘境。
唐贞观十四年，年仅三十八岁的卢行瑫因病去世，卢家的顶梁柱倒下了，李氏夫人和年幼的卢惠能自此相依为命，卢家十分贫窘。卢行瑫去世后，就葬于离家数里外的龙山上（今国恩寺内），有关卢行瑫葬龙山，民间还流传有一段传说。相传当时卢行瑫病逝未葬之时，有一风水师落难在新州，为李氏、卢惠能母子所周济，遂报恩为卢家点穴，穴在龙山，根据不同的向法下葬可以出产生不一样的效果，当风水师问及李氏是要“九代状元”还是要“万代香烟”时，李氏心想自己的丈夫当年就是因为当官而被流放到新州的，所以她毫不犹豫地选择了“万代香烟”，所以卢行瑫的遗体就葬在了“万佛朝宗莲花穴”中，后来孕育出了六祖惠能这样的佛门龙象，受尽万代万家之香火。当然，这或许也是新州人出于对六祖惠能的缅怀之情而创造出来的美丽传说。
自从卢行瑫去世后，卢家非常贫窘，所以卢惠能没能受到良好的教育，识字不多；但卢惠能长大后非常勤劳、孝顺，每天都到山上砍柴去卖以奉养老母亲，正如后人诗云：“混世人难测，权作采樵夫。访道寻知识，殷勤舍俗愚。”
