HuggingFace Daily Papers(社区热门论文)
65
几何冲突:解释与控制大语言模型持续后训练中的遗忘
AI 摘要
研究揭示大语言模型持续后训练中的遗忘源于任务更新引发的协方差几何与模型演化状态之间的错位,即“几何冲突”,它决定了能力是迁移还是干扰。基于此,团队提出了无需回放数据的Geometry-Conflict Wasserstein Merging(GCWM)方法。该方法通过高斯Wasserstein重心构建共享度量,并利用几何冲突门控进行几何感知校正。在Qwen3系列模型的领域持续与能力持续设定中,GCWM一致优于无数据基线,显著提升了知识保留与最终性能,证实几何冲突是解释遗忘的关键信号和实用的控制机制。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org