HuggingFace Daily Papers(社区热门论文)
66
GeoStack:一种用于VLM中拟阿贝尔知识组合的框架
AI 摘要
GeoStack是一个模块化框架,旨在解决视觉语言模型中多领域知识组合导致的灾难性遗忘问题。该框架允许将独立训练的领域专家模型组合成一个统一模型,通过对适配器流形施加几何与结构约束,确保基础模型的原有知识得以保留。研究从数学上证明了其权重折叠特性,使得无论集成多少专家模型,推理复杂度均保持恒定。在多领域适应和类增量学习任务上的实验表明,GeoStack能有效实现长期知识组合,并显著缓解灾难性遗忘。相关代码已开源。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org