HuggingFace Daily Papers(社区热门论文)
67
以轨迹为师:基于能量导航蒸馏的少步离散流匹配
AI 摘要
针对离散流匹配生成文本需数百步迭代的问题,本研究提出轨迹塑形离散流匹配方法。传统蒸馏中,由随机跳跃构建的轨迹质量是性能瓶颈。新方法引入轻量级“能量罗盘”,在训练时评估并选择最连贯的候选序列来引导轨迹生成,此过程仅增加训练成本。在1.7亿参数语言建模任务中,经塑形的8步学生模型比1024步教师模型困惑度降低32%、速度提升128倍,且在不同数据与模型规模上表现一致。该方法取得了优于所有对比基线的最佳困惑度,包括使用更多数据或更大模型的方案。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org