HuggingFace Daily Papers(社区热门论文)
60
智能体终极考试(Agents' Last Exam)
AI 摘要
AI系统在多项基准上表现强劲,但未转化为经济上有意义的行业部署。新基准Agents' Last Exam(ALE)由250+行业专家联合开发,基于O*NET/SOC 2018联邦职业分类,覆盖13个行业集群、55个子领域、1000+任务,用于评估AI智能体在长周期、高经济价值真实工作流上的表现。当前最难层级平均完全通过率仅2.6%。ALE设计为动态基准,任务池持续扩展,旨在弥合基准成功与GDP影响之间的差距。
该来源未收录可展示正文,站内仅提供摘要。
阅读原文arxiv.org