HuggingFace Daily Papers(社区热门论文)
67
CoHyDE:大语言模型重写器与稠密编码器的迭代协同训练,用于工具检索
AI 摘要
CoHyDE 是一种迭代训练框架,旨在解决大语言模型智能体在大型 API 目录中进行工具检索时面临的核心瓶颈。用户查询常使用口语化、描述不充分的自然语言,而 API 目录使用固定的技术性术语。该框架将稠密编码器与 LLM 重写器视为一个协同演化系统进行训练:编码器在重写器生成的、符合目录风格的假设性描述上通过 InfoNCE 进行重训练;重写器则通过 DPO 根据编码器的检索分数进行偏好对齐。在 ToolBench 目录约 10k 工具的子集上,三轮 CoHyDE 迭代后,其在标准查询上的 NDCG@5 得分较最强单组件基线提升 +2.5 pp,在模糊查询上提升 +6.3 pp。消融实验证实,协同训练是该方法在结构化与模糊查询上均取得优势的关键。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org