K5语料训练LLM实验
LittleLearner团队发布受控实验:从FineWeb-Edu过滤出88B token的LittleCurriculum,仅保留美国K-5小学课程范围内容,并从零训练0.6B、1.3B、5B模型。项目试图通过限制训练分布,研究大模型技能是被真正学习还是由更高阶知识诱发,网页提供5B托管模型可直接试用。
事件进展(1 篇报道)
-
2026-08-16 15:37
LittleLearner团队发布受控实验:从FineWeb-Edu过滤出88B token的LittleCurriculum,仅保留美国K-5小学课程范围内容,并从零训练0.6B、1.3B、5B模型。项目试图通过限制训练分布,研究大模型技能是被真正学习还是由更高阶知识诱发,网页提供5B托管模型可直接试用。