HuggingFace Daily Papers(社区热门论文)
55
SpecBlock:一种具有动态树草案生成的块迭代推测解码方法
AI 摘要
SpecBlock是一种新型块迭代推测解码草案器,旨在融合路径依赖性与低成本生成。其核心在于每次前向传播生成一个包含K个连续依赖位置的“块”,通过重复块扩展构建草案树。关键技术包括:块内层间移位传递隐藏状态;跨块机制允许新块从旧块任意位置继承路径状态;协同训练的排序头动态分配分支,取代固定Top-K树;有效前缀掩码优化训练目标。部署时采用成本感知赌博算法,仅当预期吞吐增益超过更新成本时才利用验证器反馈选择性更新草案器。实验表明,在仅消耗EAGLE-3草案成本44-52%的情况下,SpecBlock将平均加速比提升了8-13%,成本感知自适应进一步将优势扩大至11-19%。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org