HuggingFace Daily Papers(社区热门论文)
46
从内部检索:基于注意力的模型的内在能力
AI 摘要
研究团队提出INTRA框架,使基于注意力的编码器-解码器模型能够直接从自身内部表征中检索信息,无需依赖外部检索器。该方法利用解码器的注意力查询对预编码的证据块进行评分,并将其直接复用为生成上下文,从而统一了检索与生成过程,避免了传统RAG流程中模块不匹配的问题。在问答基准测试中,INTRA在证据召回率和答案质量上均优于强工程化检索流程。结果表明,基于注意力的模型本身已具备可被激发的内在检索机制。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org