HuggingFace Daily Papers(社区热门论文)
精选70
多模态领域泛化真的进步了吗?一项全面的基准研究
精选理由
7 千多次训练揭示的多模态领域泛化真相:近年专门方法相比简单 ERM 几乎原地踏步,并且所有方法在损坏或缺失模态下直接跪。做这个方向的该醒醒了。
AI 摘要
针对多模态领域泛化评估标准不统一的问题,研究团队推出了首个统一基准MMDG-Bench。该基准涵盖动作识别、故障诊断和情感分析三大任务的六个数据集,系统评估了六种模态组合和九种方法在多种场景下的性能。基于大规模实验得出关键结论:现有专用方法相比基线提升有限;无单一方法能持续领先;当前性能与理论上限差距显著;三模态融合未稳定优于双模态;所有方法在数据损坏和模态缺失时性能均大幅下降,部分还损害了模型可信度。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org