在《指环王》的一条支线情节中，两名霍比特人试图唤醒树胡——一棵睿智但行动迟缓的有知觉的树——去保卫它的森林，抵御一支正在砍伐森林的军队。问题在于，树胡的运行速度与霍比特人截然不同。光是跟另一棵树打个招呼就需要整整一天，因此想让树胡和它的同类迅速行动几乎是不可能的。

人工智能与我们政治机构的交集，感觉有点像霍比特人和树胡。人工智能正以闪电般的速度发展——仅仅四年间，AI 模型从几乎写不出一行连贯的代码，发展到在主要 AI 公司中编写了大部分代码。在生物学、物理学、数学、金融、法律、翻译以及许多其他领域也取得了类似的进步。AI 的规模定律——它预测通用认知能力会随算力增加呈指数级增长——如今已有超过十年的经验证据作为支撑。如果这些规模定律再持续一两年，我们很可能会得到我所说的“Powerful AI”，即“数据中心里的天才之国”。

相比之下，政策——尤其是立法——行动非常缓慢。这往往有充分的理由：政府拥有重大权力，通常不应急于行使，这样才是最好的。但时间尺度上的错配仍然非常痛苦：在国会可能需要花上数年才能采取行动的这段时间里，AI 可以从一个有趣的玩具变成完整的“天才之国”。

过去几年里，随着人工智能成为一项重要的商业技术，我们这些希望负责任地对待它的人一直面临着一个两难困境。我们清楚地看到指数曲线将走向何方：我们强烈怀疑，在未来几年内，AI将成为少数几项能从根本上重塑整个政策格局的技术之一，就像核武器重塑了地缘政治、工业革命从根本上改变了每一个经济和社会议题那样。但对于那些只看当时AI能做什么的人来说，它看起来更像是一种普通得多的技术——或许类似于最新的消费应用或加密货币。很难说服大多数政策制定者和企业，除了放任自流的态度之外，还有什么其他选择是合理的。平心而论，AI的深远影响尚未显现，而且我们也不确切知道它们会以何种形式出现——这些事实使得即便有行动的意愿，也很难设计出恰当的政策。

受限于这一局面带来的约束，包括Anthropic在内的许多安全倡导者，迄今为止一直专注于倡导那些保留选择余地、为未来快速反应做好准备、或让世界更清楚地了解即将到来的趋势的政策行动——比如透明度立法、芯片出口管制，以及关于AI对劳动力影响的数据收集。这些措施还不够，但人们曾觉得它们已是全部可能了。

然而，在过去几个月里，AI惊人能力及其风险的证据已变得不容否认。最具标志性的例子或许是Claude Mythos Preview，以及人们发现前沿模型对网络安全构成了非常真实的风险，有可能扰乱金融体系、关键基础设施和国家安全。Mythos Preview 扰乱了全球网络安全格局。但它的更深远意义在于，它毫无疑问地证明了AI模型如今已成为具有全球和国家战略意义的重要工具。Mythos 级别模型所带来的网络风险不会是我们必须面对的最后一种风险。我相信生物风险可能很快接踵而至，而严重的AI自主性风险或许也相距不远了¹。

我们现在，在全球范围内，需要共同启动一个缓慢且生涩的政策机制，来应对那些从此刻起将以惊人速度累积叠加的风险与机遇。许多政策制定者正展现出越来越强的行动意愿，而且看到我们的同行逐渐认同我们过去几年一直在倡导的立场，这令人备受鼓舞。这是好事，但我担心这些早期行动在时间上至少落后于AI快速进展一年。本文正是为了弥合这一差距：阐述指数级发展如今处于何种阶段，以及为应对这一时刻所需采取的集体行动。

我将聚焦于在AI时代需要重新构想的五个长期政策领域：监管与公共安全、宏观经济与税收政策、科学创新、国家与社会之间的权力平衡，以及地缘政治。我主要会以美国政策为切入点进行讨论，因为Anthropic是一家美国公司，但我的大部分建议也与世界其他地区相关。

伴随本文，Anthropic正在发布一项关于前沿模型测试的立法提案，以及一个针对就业岗位替代的政策框架，我们打算为此提供大量资金支持。我们计划未来做更多工作，但我们视这些为展示我们认真态度的第一步。

**1. 监管与公共安全**

每一项新技术或产品都同时有有益和有害的用途，因此带来了创新与安全之间的两难困境。对产品进行监管能降低其造成伤害的可能性，并在改善全球人民生活方面发挥了重要作用，但也可能直接减少其收益，并间接抑制创新。此外，还有哈耶克式的观点：监管者通常缺乏做出关于复杂经济权衡的正确决策所需的信息，因此监管往往既低效又繁重。一个相关的概念是科林格里奇困境，它指出一项技术的影响往往难以预先预见，直到为时已晚、难以轻易管控。

这些动态在 2023-2024 年对 AI 领域的影响尤为深远。Anthropic 很清楚，AI 未来可能具备制造生物武器的能力，从而威胁数百万人，或者在极端情况下，自主行为不端甚至可能威胁人类自身。不太明确的是这些风险的具体表现形式、如何进行最佳测试和缓解、以及它们在实际中如何演变。因此，提前制定的立法有很大概率最终变得无效——在制造无意义或低价值合规要求的同时，却遗漏了最关键的、真正的风险来源²。

最终，我们得出的结论是，当时正确的做法是透明度。AI 模型的开发者应该被要求披露其安全程序、对模型进行的测试，并报告任何重大安全事件，以便公众和科学界能够在风险出现时获得更好的可见性。当风险变得更加明确且形态更加清晰时，通过透明度获得的证据就可以用来设计精准的立法，以针对最令人担忧的风险。因此，在 2025 年，Anthropic 支持了透明度立法，帮助在加利福尼亚州通过了 SB 53、在纽约州通过了 RAISE、在伊利诺伊州通过了 SB 315（于 2026 年初），并在联邦层面倡导了一项透明度标准。

然而，现在风险已经明显存在。是时候超越透明度，对 AI 实施更严格、具有约束力的监管了。我认为，至少在指数级增长的当前阶段，最恰当的类比是汽车、飞机或药品——这些都是现代经济不可或缺的强大技术，但如果设计或操作不当，可能会造成大量人员死亡。因此，我认为我们应该以联邦航空管理局（FAA）等机构为蓝本，对 AI 进行监管。前沿 AI 模型，就像飞机一样，应该被要求通过技术测试和审计，如果它们达不到高标准的安全要求，就应该被阻止发布或撤销发布，以保障公共安全。我很感激看到特朗普政府的行政命令逐步朝着让政府在 AI 中发挥更大作用的方向迈进，尽管 Anthropic 的提议建议采取进一步的行动。我们的提议包括以下要素：

超过一定计算阈值的模型必须由合格的第三方对其在四个特定领域的风险水平进行强制性测试：网络安全、生物武器、AI 系统的失控，以及可能加速这些其他风险的自动化研发。

如果根据第三方评估判定该模型存在不可接受的风险，政府应有权阻止或防止其部署。这一权力必须限定在上述四个特定风险范围内，并且必须有防止政治偏袒或任意决策的保护措施。

第三方评估可以由政府机构（类似于美国联邦航空管理局）或一组经政府授权并接受政府监管、按照特定标准评估模型的私营组织来完成（即“监管市场”方式）。

开发高级 AI 模型的 AI 公司必须制定严格的安全标准以保护其模型权重，应定期进行红队测试和渗透测试，并与政府合作防御主要威胁行为者。

四个关键领域的安全事件必须及时报告。

也许很快就会出现这样一个时刻，届时我们需要超越当前的措施，最强大的 AI 系统将更像可武器化的核材料，而非飞机或汽车——对人类构成威胁，而不仅仅是“对公共安全的威胁”。如果出现这种情况，我们可能需要比我所列出的更为激进的监管措施³。但正如在 2024 年很难针对性地应用我现在建议的措施一样，我认为我们不应操之过急。我们应该为当前正在出现的危险设计政策，同时为随着新危险出现而更快升级应对措施奠定基础。

2. 宏观经济学与税收政策

各国政府长期以来一直面临这样一个问题：如何在鼓励经济增长的同时，提供重要的公共服务并确保最不幸的人得到照顾。这些争论的一个重要（且通常正确）前提是，经济增长是脆弱且难以实现的——虽然减少不平等可能带来重要好处，但必须将其与增税或赤字带来的经济拖累进行权衡。

我怀疑强大的 AI 可能会颠覆这一假设。如果 AI 能够在大多数认知任务上远胜人类，那么很自然地，它可能会通过加速科学、技术和运营效率，带来极其迅速且稳健的经济增长。AI 迭代构建更优 AI 的能力可能会进一步加速这种增长。但恰恰出于同样的原因，AI 也可能比以往的技术更广泛地替代人类的认知能力，同时其改变经济的速度也远快于以往的技术。因此，有理由认为 AI 可能比以往的技术对劳动力市场造成更大的冲击，并且可能带来更持久的冲击。我们有可能陷入一个这样的世界：经济增长与不平等之间的权衡旋钮卡在了“超高速增长、超高度不平等”的档位上，而且可能极难从这一档位中摆脱出来。在这样的世界里，关键挑战将不再是激励增长，而是找到一种让所有人共享收益的方式。

在本文讨论的诸多议题中，宏观经济学与持久的劳动力替代可能是最受公众关注、也最容易引发误解的两点，因此我想在以下两点上说得极为明确。

首先，持久性的岗位替代是不受欢迎且危险的，我们应该尽一切努力去最小化或阻止它，而不是促成它。我曾在采访和文章中警告过岗位替代的问题，是因为我希望政策制定者和私营部门都能有最佳机会去适应和应对，而不是因为我想成为一个“末日预言家”。作为一家公司，Anthropic 始终尽最大努力与客户合作，寻找创造性的新用例和新收入来源，让客户能用现有员工做更多事情，而不是只关注成本节约（这通常意味着裁员）。我们还不断尝试思考新的人机交互范式，让人类在 AI 系统不断进步的过程中，能够尽可能主动地与其协作。从更广泛的角度看，让整个世界尽可能多地尝试用 AI 做新事情是有价值的，因为这是社会发现新工作配置的方式。我确实认为 AI 会带来许多新的经济机遇。我曾预言 AI 能让单个人创立价值十亿美元的公司，而我们已经看到只有几人的团队建起了收入数亿美元的企业。但与此同时，我们也应认识到，尽管我们付出了所有努力，AI 仍有可能导致显著的、持久性的失业——这可能是这项技术及其广泛复制人类认知方式的固有属性。

其次，任何应对 AI 驱动岗位替代的措施，都需要同时解决两个问题：既要让每个人在经济上有所保障，也要让人们找到意义、目标和能动性。后者最终更为重要，它取决于关于社会如何组织、人们应该追求什么、以及什么构成美好生活等深层问题。我实际上非常乐观，即便在一个 AI 在所有领域都比所有人都更优秀的世界里，人类依然可以过上充满深层意义的生活，并努力建造令人敬畏和美丽的事物。但这是需要整个社会共同去解决的问题，而非政策能直接干预的。政策能做的最有帮助的事情是，通过减缓岗位流失、为可能受影响的群体提供经济保障，来为我们争取时间去做这项工作。

基于此，一些可能有帮助的关键政策干预措施包括：

测量与追踪。仅仅收集和分析数据很容易被认为不足以应对问题的规模，但如果我们无法准确衡量实际情况，就很难制定出好的政策。Anthropic 运营着一项经济指数，追踪人们如何使用 Claude，已有近一年半的时间，但政府能够获取我们无法获取的数据类型，并且可以大幅扩展其经济统计数据，以更细致地追踪 AI 造成的就业替代。

促进就业的激励措施。一系列广泛的促进就业的政策激励措施有助于减缓或减少就业替代，包括：工资保险政策（当人们不得不接受更低薪资的工作时给予补偿）、保留员工的税收激励措施（鼓励雇主不裁员）、劳动力培训补助金，或促进雇主与雇员匹配的基础设施，以加快劳动力市场的适应速度。虽然哪种干预措施最佳取决于 AI 带来的劳动替代类型，但我们应欣然接受这些政策可能带来的成本和市场效率低下，特别是因为这些成本很可能被 AI 驱动的生产力增长所抵消。

长期宏观经济支持。如果 AI 驱动的劳动替代规模最终很大，并持续压低劳动力需求，那么很可能需要超越单纯的激励计划，为相当一部分劳动力提供长期收入支持。普遍基本收入等机制可以通过对相关公司征税或提高资本利得税来提供资金。普遍资本账户是另一种途径。总体而言，快速的经济增长应该会为共享繁荣创造税基。

关于 AI 经济担忧的一个常见焦点——我尚未提及——是数据中心，尤其是它们可能推高能源价格。我的看法是，AI 公司应当承担成本上升——Anthropic 已经承诺这样做——但我认为公众对数据中心的敌意在很大程度上只是对 AI 带来的更广泛经济焦虑的一种象征或宣泄方式。我们必须就这些更广泛的经济问题直接开展社会对话，并真正拿出令人信服的解决方案，否则这些问题很可能以间接方式显现出来，就像数据中心问题那样。

3. 加速 AI 的积极影响

正如我们必须权衡人工智能本身的创新与安全之间的平衡，我们也必须同样权衡那些可能被人工智能加速发展的技术领域（如生物医学、能源或材料科学）中的这一平衡。不过，人工智能本身可能会带来迅速出现且我们之前毫无处理经验的全新挑战，而被人工智能加速的其他领域则可能面临一个截然不同的问题：那些为较慢创新节奏设计的监管体系，尚未准备好应对人工智能将带来的新产品和进展的激增。人工智能还可能以一种违背食品药品监督管理局（FDA）等监管机构怀疑论假设的方式，使这些下游技术变得更安全、更可预测。

因此，对于人工智能的下游应用——与人工智能本身不同——我更担心的是监管机制拖慢进展（因为它无法应对加速变化的节奏），而不是它未能解决重要风险。我们最不希望看到的，就是人工智能的益处被拖慢，而它的风险却赫然显现，所以尽快就此问题采取行动至关重要。

这个问题及其解决方案在科学、商业和技术的各个领域会以不同方式显现，因此我将集中讨论一个具有说明性的领域：生物医学创新。这既是因为它很可能成为人工智能在最大人道主义效益上的来源，也是因为该领域的监管尤为复杂。我们尚不清楚人工智能将如何加速生物医学创新，但它似乎很可能：

大幅提高新药候选物进入监管管线的速度；

通过更好的优化以及对潜在生物学机制的更深入理解，提升新药的效果并改善其安全性；

为那些从未成功治疗过的疾病开发新药候选物；

迅速创造出全新的治疗形式，类似于过去几十年里抗体、肽类和细胞疗法成为新的治疗类别那样。

其中的一些进展自然也会加速监管审批的时间线，而不必进行结构性变革。药效更强的药物可以开展规模更小、成本更低的临床试验，并触发加速审批机制。但当前的监管体系在设计上要求进行高审慎度的审查和多阶段测试，其前提假设是候选药物往往无效，即便有效也常常存在严重的安全问题。无论是在美国食品药品监督管理局（FDA）还是欧洲药品管理局（EMA），候选药物通过监管审批流程的典型时间为7到8年，部分原因正是源于这些悲观的假设。如果不进行改革，人工智能只会堵塞或压垮这个系统。

显然，我们并不希望通过改变而导致出现一批骗人的假药或引发大规模安全事故。但一些相对简单的改革，可以让FDA、EMA以及类似机构更好地适应由AI驱动的科学加速——如果这种加速真的发生的话。

临床试验流程中的许多步骤，过去需要昂贵且缓慢的实验，很快或许就能通过AI模拟或分析来完成。监管机构现在就应该考虑制定标准，明确在什么条件下可以接受这些方法。这意味着一旦这些方法证明有效，就能迅速被采纳，而不必在很长一段时间内仍然要求进行不必要的测试。适用这一思路的领域包括：

基于AI的药效学和药代动力学（PD/PK）建模；

通过毒理学预测来避免需要对多个物种进行动物毒理实验；

更精准的剂量选择，以减少试验中所需的大剂量范围；

通过分析大型数据集进行生物标志物验证；

临床试验中的合成对照组，以减少招募更多受试者的需要；

开发替代终点（在衰老和神经退行性疾病领域尤其重要）。

除了这些具体例子之外，监管机构还应该考虑更激进、更灵活的加速审批机制。如果我对AI的预测是正确的，那么很快就会出现大量效果出奇好的干预措施，监管体系应该做好准备认真对待它们，而不是采取过度怀疑的姿态。

生物医学加速应当能显著提升AI带来的益处，但值得注意的是，它也可能有助于降低AI的风险。改革生物医学审批流程或许能助力生物防御，而由AI驱动的生物医学进步也可能改善心理健康，进而对社会起到稳定作用。

4. 国家与公民自由

每一种政府体制都必须面对国家权力及其边界的问题。国家在保护其人民免受内外威胁方面拥有合法且往往关乎存续的利益，但赋予其过多权力则是通向暴政的道路。现代民主国家大体上成功实现了这种平衡，但即便在最有利的时期，这也是一种脆弱的平衡。维持这一平衡需要数个世纪以来建立的大量法律与宪法机制——例如在美国，有第一、第四和第五修正案、《地方保安队法》、《外国情报监视法》等。

AI可能会打破这一平衡，同时大幅提高其风险。但如果我们迅速反应并抓住时机，就可以利用AI创造一个比以往任何时候都拥有更坚实、更持久的自由保障以及更有效威胁防御的世界。

强大的AI若落入错误之手，可能成为独裁的终极工具，而我们现有的法律和宪法保护机制并不完全足以应对这一威胁。从根本上说，智力在权力层面带来的巨大回报，加上AI迅猛的发展步伐，为一系列危险行为者突然夺取权力创造了完美风暴。

这种危险可能表现为各种具体的技术或操作形式，但它们的共同点是：AI可能突然赋予巨大的权力，同时绕过现有的民主监督机制。如今听似科幻小说的全自动无人机军队，未来可能服从非法命令，使政府能够单方面固化自己的权力；而受过专业训练的人类则更有可能拒绝这种非法指令。以监控为核心的AI能够大规模分析广泛可获取的信息，并据此推断每位公民最私密的生活细节——这是当前公民自由法律未曾考虑的技术能力。这一切都可能发生得非常迅速，或者以秘密方式进行，因此主动强化民主国家对自由和公民自由的承诺至关重要。

以下是应考虑的一些政策思路：

为完全自主武器建立可靠的问责规则。自主武器，尤其是任何协调或指挥它们的自主系统，应被要求响应宪法和指挥问责机制（例如法院命令、立法以及向高级人类监管者负责），而非盲目服从指令。这意味着，一个设计得当的法律审查小组或司法部门可以掌握“关闭开关”，或者这些系统本身经过内建训练以主动寻求并回应合法的监督机关，或者两者兼备。

在国内禁止使用完全自主武器。虽然为了抵御外国对手（例如俄罗斯入侵乌克兰）而使用完全自主武器有其合理性，但没有任何理由将它们用于对付美国人。军队在国内的行动能力已受到一定限制，但在理想情况下，执法部门也应禁止使用此类武器。

堵住批量收集/数据经纪商的漏洞。根据现行法律，美国人分享给私营公司（如互联网服务提供商）的数据可以被购买并用于国内监控和执法中的批量分析。这一隐私保护漏洞在人工智能出现之前就已存在，但人工智能将大幅提升其风险，使得对此类数据进行大规模分析比以往更具揭露性和实用性。这一漏洞应当被堵上。

在政府不利行动中获得人工智能建议的公众权利。作为一项普遍原则，任何成为政府不利行动（例如监管或法律行动）目标的个人或组织，都应有权获得至少与该特定行动中政府允许使用的同等水平的人工智能。这意味着不能让政府拥有不公平的优势，从而实际上削弱公民的合法权利。这可以作为《行政程序法》、正当程序保护或第六修正案法律代理权的延伸或解释来补充。

最后，值得指出的是，政府并非我们在人工智能驱动的权力攫取方面唯一需要警惕的实体。在历史上的不同时期（例如美国的镀金时代或英国的东印度公司），企业曾变得足够强大，以至于俘获了国家或具备了准国家特征。人工智能很快将变得如此强大，以至于我担心它无法安全地完全托付给政府或企业中的任何一方，必须对两者都施加制衡。

监管是约束企业的一种方式（我对此的想法在第 1 节中），但同样重要的是，人工智能公司应比典型的私营实体拥有更强的权力分立和问责机制。Anthropic 的长期利益信托（Long-Term Benefit Trust，一个旨在让公司对其使命负责的独立治理机构）就是这样一个结构，整个行业应继续探索走得更远的机制。找到正确的平衡——让企业和政府各自的权力都能受到有意义的制衡——至关重要。

5. 确保民主国家的领导地位

也许源于近年来在互联网和电信领域的经验，人们普遍形成了一种本能，即从地缘政治角度将新技术视为贸易政策的工具，目标是“将我们的技术栈推广到全球”。但我坚信，人工智能要深远得多——它重置了整个棋局，所有未来的地缘政治战略都必须围绕它来制定——就像核武器，甚至可能有过之而无不及。

如果人工智能真的很快就将成为“一个数据中心里的天才国度”，或任何接近于此的事物，那么人工智能很可能成为任何国家军事和经济力量的主导来源。在一个拥有一亿天才的虚拟国度里，其中一千万可用于军事战略，一千万用于无人机制造，一千万用于武器研发，一千万用于情报收集与分析，一千万用于通用科学进步，以此类推。一个拥有强大人工智能的国家面对一个没有人工智能的国家——甚至面对一个在人工智能方面落后三年之久的国家——其差距可能相当于一支二战时期的美国海军陆战队面对一支中世纪剑士军队。

此外，如果强大的AI使得更深入且可能永久性的专制压迫成为可能（参见第4节），那么世界上最具影响力的国家是民主国家——或者至少存在针对AI驱动的压迫的强大保护——就显得更加重要。这也增加了制定重点地缘政治战略的紧迫性。

民主国家应寻求建立一个以共同价值观构建AI为核心的全球联盟，通过让加入联盟越来越有吸引力、而置身联盟之外越来越无吸引力，逐步将世界其他国家纳入其中。该联盟应是将第1至4节讨论的AI政策理念进行协调性国际化的体现，同时努力锁定对构建AI至关重要的供应链——在联盟内部共享，并拒绝向联盟外成员提供。一些原则和运作目标可能包括：

管理AI供应链。可信联盟的成员应相互自由共享芯片和半导体制造设备（SME），同时共同拒绝向对手提供。美国对华前沿芯片和SME的出口管制是美国在AI领域整体领先地位的重要因素，这些政策需要扩大、收紧并与其他志同道合的国家协调。MATCH和OVERWATCH等待定立法是良好的第一步，盟国民主国家需要考虑类似措施。

协调应对AI的风险。如果能在国际层面进行协调，第1节中描述的应对生物、网络安全和自主性风险的政策将更有效（同时对行业负担也更小）。这意味着公司可以遵守兼容的标准，监管机构可以相互学习如何最好地衡量和缓解这些风险。执法和情报机构也应更紧密合作，追踪和破坏滥用威胁，例如恐怖分子利用AI制造生物武器的行为。

分享AI的益处。贸易和监管政策可用于促进AI经济收益在联盟内部的更快扩散，分享加速创新的经验教训。协调有益部署的方式有助于将AI的益处带给发展中国家。例如，医疗审批制度的协调可以促成对AI驱动的药物进行更快、更好的测试与审批（如前述第3节所述）。

共同防御。联盟中的国家应共同努力，利用AI相互防御，并抵御对手的AI。联盟应集体确保充足的生产，包括AI主导的网络防御、AI驱动的无人机、AI驱动的制造、保密级AI计算、AI驱动的研发，以及共享AI驱动的情报收集。

拒绝AI驱动的压迫。联盟成员必须拒绝我在《技术的青春期》中所警告的高科技、极端压迫的AI驱动的暴政，并且必须具备类似我在上述第4节中描述的保障措施。

宏观经济合作。就业或岗位稳定性的危机，如同任何其他经济危机一样，可能跨境传染。因此，各国在共同协调宏观经济支持和稳定政策（如第2节所述）方面存在共同利益，以应对任何就业影响。

目标应是使联盟的成员资格尽可能具有吸引力——而留在联盟之外的成本则清晰可见。联盟将建立在主权国家之间的协调之上，每个国家保留对其自身事务的完全权力。它可以迭代式发展，从意识形态一致的民主国家（这些国家自然愿意加入）开始，逐步欢迎那些不那么自然对齐但愿意为换取成员资格的巨大好处而达到联盟标准的国家。理想情况下，整个世界最终都会加入。但即使这不可能实现，建立联盟也能使民主国家处于最有利的位置，以遏制并超越那些仍致力于压迫的政权。

机遇之窗。

AI的指数级进步带来了紧迫性和变化速度，而这些通常是政策制定过程难以应对的。但它也创造了一个独特的机会窗口。明确且当前的AI风险证据、对AI在创造经济价值与造成经济颠覆两方面潜力的早期体验，以及公众对不受监管的AI方法的显著反弹，这些因素汇聚在一起，使得政策制定者异常愿意接受前瞻性的行动。Treebeard和他的森林正在苏醒。

在AI行业圈子里，流行将此事视为公关问题：说AI需要“更好的营销”。我完全拒绝这种框架。人们担心AI，是因为他们正确地认识到其风险是真实的，而不是因为AI的CEO们不够潘格洛斯式乐观（Panglossian）。我相信，作为AI领导者，我有责任继续对这些风险保持透明，而公众对这种透明度的担忧恰恰构成了民主问责制的正常运作。关键挑战在于将这种担忧引向建设性的解决方案，而不是让它堕入无定型的愤怒和暴力。

我对找到解决方案持乐观态度，因为许多这些问题——从解决就业替代、到模型的发布前测试、到芯片出口管制、再到其他AI相关政策问题（如能源使用）——在政治谱系中都具有常识性的吸引力。存在一个充满希望但又现实可行的未来世界：一个广泛的无党派联盟，由对AI带来的挑战的直接认识所驱动，将导致比通常快得多的理智且前瞻性的政策被采纳。我们越早这样做，就能越早共享AI的惊人益处。

我要感谢Allan Dafoe、Mariano-Florentino Cuéllar、Richard Fontaine、Buddy Shah、Vas Narasimhan、Matt Yglesias、Nick Beckstead、Jason Matheny、Brad Carson以及Anthropic的许多员工，他们为本文的草稿提供了评论和反馈。

脚注

我在《技术的青春期》（The Adolescence of Technology）一文中讨论了生物风险和自主性风险等。Anthropic Institute还在《当AI自行构建》（When AI Builds Itself）中发布了一些初步的内部数据，涉及递归自我改进的可能性，即能够自主构建更好模型的模型。

这一现象并非理论假设：我们在自己的自愿治理框架（如《负责任的扩展政策》）中已多次观察到。如果我们为自己制定一份关于未来AI模型的固定或僵化的安全要求清单，一个非常可能的结果是：那些实际上无关紧要的要求最终消耗了我们95%的合规精力，与此同时，我们会发现一些最大的风险来源完全不在我们原本的清单预期之内。自愿性框架可以修改和调整，但立法层面要难得多。我在2024年加州旨在应对灾难性风险的SB 1047法案的两封公开信中，表达了我对这一困境的挣扎——出于上述原因，我对该法案的感受是复杂的。

例如，真正严重的生物风险可能比网络风险更难管理，因为攻击者相对于防御者具有巨大优势，而且灾难的严重程度可能要大得多。

关于为什么其他技术中导致就业市场快速复苏且缺乏持久劳动力替代的逻辑可能不适用于AI，以及为什么像杰文斯悖论或比较优势这类通常的适应机制可能会被技术发展的速度所压倒，更详细的分析请参见《技术的青春期》。

举个例子，人们仍然会倾注一生去下国际象棋、下围棋或攀登高山，并且这些活动仍然受到尊敬——尽管机器在这些方面可以做得更好。

这本质上给了人们额外的激励去迁移到新岗位并开始为新的职业阶梯进行培训，即使短期内可能很痛苦——通过在他们新工资低于旧工资的情况下，补贴两者之间的差额。

更多关于此话题的内容，请参见《技术的青春期》。