HuggingFace Daily Papers(社区热门论文)
56
从误差控制动力学角度重新思考循环模型中的状态追踪
AI 摘要
循环模型状态追踪理论长期聚焦于表达能力,但误差控制同样关键,它主导着隐藏状态在区分符号状态方向上的漂移。研究证明,包含状态空间模型和线性注意力在内的仿射循环网络,一旦保存状态表示,就无法纠正沿状态分离子空间的误差。因此,实际模型学到的并非鲁棒的状态追踪,而是受累积误差控制的有限时域解。分析表明,仅当累积的类内扩散相对于初始类间分离较小时,追踪结果才可读。在群体状态追踪任务上的实验证实,当可区分比率超过解码器可读阈值时,追踪会崩溃,且该临界点能准确预测下游任务失效的时域。这表明,鲁棒的状态追踪不仅取决于架构的理论表达能力,更关键地取决于其误差控制能力。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org