明成化四年(1468年),时任太子太保、户部尚书的襄城县籍人李敏,因母亲故去,回乡守孝三年,在此期间,他经常漫步紫云山,见山色秀丽幽静,就建了三间书屋,读书讲学。
成化十八年皇帝下诏赐名“紫云书院”,就扩建殿宇堂斋,成为为当时中原四大书院之一。