相传古时黄帝曾于此山藏书。武陵人善卷因避舜帝禅让,隐于此山守护黄帝藏书,并以之教化当地百姓。周朝时,周穆王又在此山中收藏异书。秦始皇执政,焚书坑儒,博士官伏胜偷运禁书五车,藏于山半石洞,直至秦亡,才拿出来献给汉高祖刘邦,终于保住春秋诸子百家不致断绝,为延续中华五千年文明立下不可磨灭的功勋。二酉山藏书功德,厚重千秋,被历代文人墨客视为天下名山而敬仰崇拜。 宋真宗年间,辰州通判欧阳陟游于此山,感慕追思善卷之德,上书真宗皇帝赵恒,请建祠庙祀善卷,以示崇德报功之意。真宗皇帝准奏,下旨在二酉山顶为善卷建立祠堂。明朝时,辰州卫人董汉策、王世隆,分别自费在山中建翠山、妙华书院。抗日战争期间,湘府迁沅陵,来此避难的专家、教授不计其数。乌宿小学校长龙盛恒籍此机会,聘请其中深孚众望者执教小学生,为乌宿人才教育奠定了坚实的基础,以致新中国成立后,二酉山人才倍出,成为闻名全国的教授村。