HuggingFace Daily Papers(社区热门论文)
48
Sub-JEPA:用于稳定端到端世界模型的子空间高斯正则化方法
AI 摘要
研究团队提出Sub-JEPA方法,以解决联合嵌入预测架构训练中的偏差-方差权衡问题。该方法放弃在原始高维嵌入空间直接施加各向同性高斯先验,转而通过在多个随机子空间中施加高斯约束,从而放松了全局限制,同时保留了防止模型崩溃的效果,在训练稳定性与表示灵活性间取得了更好平衡。在四个连续控制环境中的实验表明,该方法以明显优势持续超越了此前基于各向同性高斯先验的LeWorldModel方法。该方法简单有效,为未来基于JEPA的世界模型研究提供了有力基线。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org