HuggingFace Daily Papers(社区热门论文)
57
DiffRetriever:基于扩散语言模型的并行代表词元检索方法
AI 摘要
针对自回归模型生成多代表词元效率低下的问题,DiffRetriever提出了一种基于扩散语言模型的检索方法。它通过在提示后添加K个掩码位置,并利用扩散模型的双向前向传播一次性生成所有代表词元,从而避免了顺序生成的延迟瓶颈。实验表明,在多类扩散骨干模型上,其多词元版本在领域内及跨领域评估中均显著优于单词元版本,而自回归的多词元方法则效果不佳且延迟随K线性增加。经监督微调后,基于Dream骨干的DiffRetriever在BEIR-7基准上超越了PromptReps、同骨干的编码式基线以及对比微调的RepLLaMA。研究还发现,在冻结基础模型上采用自适应预算选择策略能取得更优效果。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org