HuggingFace Daily Papers(社区热门论文)
55
通过双层路由混合专家将持续学习扩展至300多个任务
AI 摘要
研究团队提出名为CaRE的持续学习模型,其核心是创新的双层路由混合专家(BR-MoE)机制。该机制通过动态激活任务特定路由器和专家网络,将判别性与综合性特征注入模型各层,有效平衡了学习的稳定性与可塑性。为评估长任务序列性能,团队发布了包含数百个任务的OmniBenchmark-1K数据集。实验表明,CaRE在经典任务序列(5-20个任务)及超长序列(100至300多个非重叠任务)上均大幅领先现有基线,成为首个可扩展至300多个任务的持续学习器。代码与数据集已开源。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org