HuggingFace Daily Papers(社区热门论文)
62
UniKE:面向统一多模态模型的跨模态知识编辑基准
AI 摘要
UniKE是首个针对统一多模态模型(UMMs)的跨模态知识编辑基准,包含2971个属性与关系编辑主题。VQA验证显示,文本侧编辑准确率约92%,但图像生成最佳整体VQA准确率仅18.5%,存在明显模态差距。提出的推理增强参数编辑方法在生成前显式激活已编辑知识,使整体VQA准确率提升最多18.6个百分点。机制分析表明,该差距源于编辑后文本表示与图像生成条件路径的对齐不足。文本知识编辑无法可靠跨模态迁移,需开发模态感知的编辑方法。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org