HuggingFace Daily Papers(社区热门论文)
64
从通用模型到专家模型:非参数设定下的可识别性理论
AI 摘要
本文在完全非参数设定下,为从通用模型学习任务相关的专家表示建立了可识别性理论基础。首先证明,即使序列缺乏严格时间依赖且任务分配结构任意复杂,时间步与任务间的结构仍可在无监督下被识别。其次证明,在单个时间步内,仅需简单的稀疏性正则化即可将任务相关潜在表示与无关部分解耦,无需额外约束。这两项结果共同构成了层次化的可识别性保证:任务结构在时间步间可识别,任务相关表示在步内可识别。这是首个通用的非参数可识别性理论,为从通用模型向可证明的专家模型转变提供了依据。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org