OpenAI 前研究员揭露"公开秘密"：人类正打造无法完全控制的 AI
OpenAI前研究员丹尼尔·科科塔伊洛指出，AI行业正竞相构建自身尚未完全理解或控制的系统，这已成为一个“公开的秘密”。核心挑战在于“对齐”难题，即难以确保能力超越人类的AI系统能稳定遵循人类指令与价值观。他警告，一旦超级智能诞生，人类可能失去主导地位。尽管行业正投入巨资开发更强大模型，但许多人仍低估了AI的发展速度与相关风险。
5 月 13 日，据《商业内幕》报道，OpenAI 前研究员、现任 AI 未来项目 (AI Futures Project) 负责人丹尼尔 · 科科塔伊洛 (Daniel Kokotajlo) 表示，AI 行业正在竞相构建各家公司自身尚未完全理解或控制的系统。
图注：科科塔伊洛
科科塔伊洛在去年 5 月接受《商业内幕》记者采访时解释说，AI 公司面临的核心问题是“对齐”问题，即努力确保未来的 AI 系统能够可靠地遵循人类的指令和价值观，即使它们在许多领域的能力已经超越人类。
他表示，研究人员目前并不完全理解先进 AI 模型在内部如何做出决策，这种不确定性使得很难确保未来系统真正“对齐”并稳定执行人类希望它完成的目标。
“这在某种程度上可以说是一个公开的秘密，但我们还没有一个真正可行的解决方案。”他在谈到实施 AI 对齐时说道。
科科塔伊洛在 2022 年至 2024 年在 OpenAI 从事预测研究工作，研究 AI 系统可能以多快的速度进步，以及随着企业构建更强大的模型，可能会出现哪些经济、政治和安全风险，之后他离开了该公司。
如今，他通过自己的非营利研究机构 AI 未来项目，专注于类似的课题，重点分析 AI 系统可能以多快的速度发展，以及如果企业继续优先追求速度和竞争，将会出现哪些风险。
“一旦超级智能被造出来，人类将不再是这个星球的主导者，至少不再是默认的主导者。”科科塔伊洛表示。
科科塔伊洛表示，许多人仍然低估了 AI 发展的速度，因为相关的讨论听起来往往像科幻小说。他的这一警告正值 AI 公司持续向更强大模型和更大规模数据中心投入数十亿美元之际。