HuggingFace Daily Papers(社区热门论文)
61
语言模型需要睡眠:学习自我修改与巩固记忆
AI 摘要
受人类学习过程启发,研究提出了一种让大语言模型持续学习的“睡眠”范式。该范式包含两个阶段:第一阶段为记忆巩固,通过“知识播种”将较小模型的记忆向上蒸馏至更大网络,以保留知识并提升容量;第二阶段为“做梦”,模型利用强化学习生成合成数据课程进行自我演练和改进,无需人工监督。实验验证了该范式在长期、持续学习、知识整合及少样本泛化任务上的重要性。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org