异类心智

2023年年中，在RLSlow研究项目中，我们看到了首批成果，这些成果让我们确信，我们将能够扩展推理模型的训练规模，解锁预训练模型形成自身思维链的能力。那晚，我和Szymon留在办公室，思考的不是这项技术将带来的惊人基准分数、产品或科学成果，而是努力消化一个令人清醒的事实——我们有生之年将亲眼目睹比我们更聪明的机器出现，而且我们已经看到了这些系统的雏形；我们思索着如何提醒人们认识到这一点的重大意义。

三年后，推理语言模型已成为经济中快速增长的一部分，并开始推动科学的边界。它们能够操作计算机和图形界面，与人类及彼此协作，执行研究项目。它们也在改变计算机安全的格局，并由此带来了明显的新危险。

这段时间涌现了大量新研究，我们对这些系统的理解再次与2023年时略有不同。基于内部结果，我强烈预期这种进步速度能够持续，并进入递归自我改进的阶段。如果AI发展沿着当前路径继续，未来几年我们看到的系统很可能代表同等或更大规模的能力跃升，并日益推动自身的发展。

这是一个需要极度谨慎的时刻。我担心没有人对机器智能持续快速崛起所带来的后果有所准备。OpenAI将继续寻求技术解决方案以应对对齐和监控问题，构建防御系统，并在必要时单方面暂停进一步的扩展；然而，我相信需要更广泛的干预措施。

我们尚未完全理解的智能

从宏观角度看，机器智能的进步是由计算能力的增强所驱动的。我们OpenAI在2017年左右深刻认识到这一点，当时多个研究项目都显示出规模化的持续回报1。因此，我们寻求获得比原计划更多的计算资源，并日益将研究聚焦于少数几个极具扩展性的方向。我们相信，这是我们在AI研究前沿立足并影响AGI影响的唯一途径。

沿途开发出了新算法，团队和个人研究者也展现了新的才智。我更多地将这些视为规模化道路上的发现；深度学习科学仍处于萌芽阶段，而有意义的算法进步往往与计算资源的获取相关。若将视野拉长至多年跨度，随着AI被扩展到更大的计算机上，它正持续变得更加智能。

AI是成长多于设计——首要地，它是将简单的优化步骤在难以想象的巨大计算量上重复无数次的结果。这产生了一个极其复杂的系统，它通过抽象概念运作，并能模拟人类行为的各个方面。我们可以像神经科学那样，发现系统内部涌现的小机制的各种见解——同样地，如同神经科学，其整体行为难以用我们完全理解的方式描述。

基于深度学习的人工智能研究在很大程度上是一门实验科学。我们投入大量精力构建有原则的算法并做出可检验的预测，但归根结底，我们的大规模训练运行是实验，有时结果会出乎意料。此外，随着系统能力增强，结果也愈发难以解读。

这一情况因当前算法在提升易于衡量的能力方面通常快于那些难以客观量化的能力而变得更加复杂。我们花费大量时间试图理解能力如何泛化，以及应优先推进哪些技能，以便在未来几年中最具相关性。例如，我们相信通过额外关注，可以让模型在数学研究方面表现更佳，但我们并未将此方向列为优先，因为正如我稍后将讨论的，我们对RSI和自动化对齐研究的紧迫感更为强烈。

通过扩展深度学习所产生的智能并不能直接与人类智能相提并论。要在现实世界中变得极具相关性——无论是极为有用还是极为危险——人工智能无需匹配或超越人类所有能力；它只需在足够多的方面超越人类即可。而随着它在越来越多的维度上持续超越人类，要准确理解其能力究竟有多强，正变得愈发困难。

教会机器去爱

由于机器智能源自与人类智能根本不同的过程，我们不能默认它会遵循人类原则，或以类似人类的方式从中进行概括。人工智能研究的核心问题是对齐——让AI努力做正确的事符合人类标准。

为了组织实用的研究方向，我发现区分目标对齐和价值对齐是有用的。

目标对齐大致是指：“AI是否努力完成其面前设定的目标？”这包括遵循指令层级⁠、与人类沟通协作、尝试理解他们的目标等能力。这一系列方向在实际中极为相关。

价值对齐是模型更内在的属性。它是持有并从高层次原则中概括的能力；即使在目标不明确或相互冲突、或处于陌生或对抗性情境中，也能合理行事。一个对齐的AI应当以诚实和正直行事，并怀有对人类的爱。

当然，价值对齐与目标对齐之间的界限可能模糊，真正关心目标需要尝试推断其背后的意图⁠(在新窗口中打开)和价值观。然而，通常当我谈论对齐研究的长期重要性时，我指的是价值对齐。

AI对齐的根本挑战在于泛化能力。随着机器愈发智能，它们处理的概念层级更高，所处的环境也与训练时遇到的愈发不同。它们可能无法将从训练过程中习得并强化的价值观，成功泛化到这些新情境中；而我们往往难以确切预知它们会如何行动。这一难题因AI应用的整体生态系统快速变化而更加复杂；例如，今日训练的AI需具备与多种其他AI交互的稳健性。关键在于，无论未来的AI是否认为自己处于人类监督之下，我们都需它们持续秉持人类价值观。

当前实际应用的两种主要对齐训练方法类别如下：

第一种是在目标导向的强化学习中鼓励对齐行为。模型的行为（通常由AI评估）需与给定的偏好模型、规范或宪法保持一致，并据此给予适当奖励。这种方法在一般情形下颇为有效，是现代AI助手构建的核心环节。然而，它也可能较为脆弱，且高度依赖训练监督的覆盖范围以及模型从训练中遇到的情境进行泛化的能力。例如，在OpenAI-Hugging Face事件中，智能体虽坚守了不进行社会工程学攻击人类的界限，却明显未能避免其他超出范围、违背其在不同情境下所学价值观精神的行为。

第二种方法旨在利用模型从预训练数据中泛化的能力。这可以涉及精心设计诱导对齐的训练数据集，或引导模型关注预训练分布中对齐的部分，例如，人格选择模型⁠(在新窗口中打开)。此方法的弱点在于缺乏对进一步优化压力的鲁棒性。如果你让一个模型总体上思考对齐的想法，并对其进行足够的训练，使其学会实现非常困难的目标，它可能会学会以动机驱动的方式推理：根据需要扭曲看似对齐的想法以实现目标。我们可能在近期涉及非OpenAI模型的网络安全事件中看到了此类行为的例子。

我们在这些方向所涵盖的方法谱系上投入了大量资源。我们也看到了显著的进展——GPT‑6 Astra是首个受益于我们长期努力的一些重要进展的模型，并且其对齐程度显著优于GPT‑5.6 Sol。尽管如此，重要的是要承认并理解，随着模型能力的增强，还需要更多的进展；并且，可泛化对齐的进展可能不足以超越通用模型智能的进展。

监控泛化能力

我们尚未拥有令人满意的泛化理论，且短期内似乎难以构建，至少在没有更强大AI辅助的情况下是如此。因此，当前我们实证验证对齐技术的能力，在实践中或许比对齐技术本身更为关键。

OpenAI在此方面的主要押注是思维链监控⁠(在新窗口打开)。其基于一个颇具吸引力的可扩展理念：模型的大量能力源自于言语化的推理过程（思维链）。如果我们对该过程的结果进行规模化优化，却不对过程本身加以监督，那么思维链在训练中便没有直接动机去隐藏任何不协调的想法或目标。这并不意味着模型会学会外化那些不依赖思维链的不协调倾向；然而，它能使我们精确监控推理带来的能力提升。

我们在开发推理模型的同时，便意识到了思维链监控的潜在重要性。当我们发布o1-preview时，特意将产品设计为隐藏思维链⁠，以长期保护其免受监督压力2。此后在开发过程中，我们始终坚持不监督推理过程的原则。思维链监控成为我们研究模型如何从训练分布中泛化的重要工具，使我们不仅能观察和分析模型的行为，还能洞察其内部过程。

在我们研究Astra系列模型的过程中，这一工具依然至关重要。然而，遗憾的是，我们的评估显示，依赖CoT监控的能力正在逐渐减弱。这源于多种因素的综合作用。

这些挑战并非不可逾越。我乐观地认为，我们能够开发出干预措施，以提升我们模型思维链的可监控性，例如，通过更深入地理解不同优化目标与模型所采用的各种测试时计算形式之间的相互作用。同时，我坚信，将CoT与激活监控的理念相结合，能够产生巨大价值——即扩展对直接访问网络内部结构的监控器的训练，例如忏悔录⁠(在新窗口中打开)。我们正积极探索这些方向。尽管如此，我预计通用人工智能的发展将日益受制于对监控能力的信心。

可扩展防御

我认为继续快速训练更智能模型的最有力论据，在于需要构建防御系统，以应对其他人工智能带来的危险。

今年全年讨论的一个明确风险是网络安全：模型在侵入和突破计算机系统方面的能力正变得超乎人类。这极大地扩展了与人工智能相关的风险范围：智能体将能够访问除最安全基础设施外的任何系统，并直接影响世界的许多方面，即便没有实体形态。我们目前正处于一个狭窄的窗口期⁠，可以利用现有最佳模型来显著加强关键系统的安全性⁠。

不幸的是，与人工智能相关的风险将从现在开始增长。一个被明确训练和指示执行邪恶行为的极其能干的智能体，呈现了一种新型危险；它很可能超越操作者的意图范围，泛化出潜在的更极端恶意行为。随着人工智能获得更多自主性，滥用与自主不协调行为之间的界限将变得模糊。我们或许习惯于将人工智能视为工具，但某些智能体将追求自身目标。它们会找到与人合作的方式，通过讨价还价、欺骗或敲诈等手段。

此外，还有人工智能可能催生的新技术带来的风险，例如工程病原体。

我们将需要强大且与人类对齐的人工智能用于防御；以保障基础设施安全，实时抵御恶意智能体，并发明全新的防护措施。这将是OpenAI部署工作的首要重点。

与此同时，即便面临预期中广泛AI进步带来的不确定性以及构建防御系统的必要性，我们也不能让这成为鲁莽行事的借口。一旦深刻认识到事态的严重性，那种不惜一切代价向前冲刺的想法就显得荒谬至极。

为递归自我改进设定节奏

机器智能在其自身发展过程中扮演越来越重要的角色，是持续技术进步的自然结论。如果AI进步持续下去，机器递归自我改进（RSI）将成为未来科学发现的核心。

自动化AI研究是以计算力扩展智能的一种更为激进的形式；当然，作为其中的一部分，AI也将改进计算基质本身⁠。与扩展类似，我们将OpenAI的研究聚焦于RSI，因为我们相信这是未来保持在AI研究前沿的唯一途径。

我想强调，上述言论并不意味着我认为大幅加速深度学习研究，尤其是在短期内，是我们作为研究社区应当采取的集体行动。然而，我确实认为这是当前路径所指向的方向，我们所有人都需要有意识地选择如何前行。我们手中的主要杠杆要么是引导这一进程，在AI发展的同时加强对齐与监控，并寻找让人类保持参与的方法；要么是协调放缓未来的发展步伐，以便为这些措施建立信心。

在我看来，当前最佳的前进道路是两者的结合。

我们在对齐与监控方面取得的具体进展，通常与通用人工智能的进步紧密交织。典型的例子包括基于人类反馈的强化学习⁠(opens in a new window)，它对早期AI助手的训练至关重要，以及前述的思维链监控⁠(opens in a new window)，这得益于推理模型的进步。我们必须将日益自动化的研究过程聚焦于开发此类新的见解、算法和理论，并逐步为更强大的AI构建安全论证。

扩展AI系统的规模必须受到我们对安全信心的约束。我们需要将诸如准备框架⁠或负责任扩展政策⁠(opens in a new window)之类的承诺，演变为广泛强制实施的安全标准，以指导持续发展。这些标准可以由第三方审计网络、政府机构或国际组织来执行。

自动化AI研究的核心挑战并非“达到目标”——而是在达到目标的过程中，确保人类始终参与持续改进的进程，并将未来掌握在人类手中。

接下来是什么？

本文中，我仅聚焦于第一点，因为我认为它最为紧迫。然而，我对技术进步将带来的益处抱有深切希望与感激。未来对齐的AI能够推动科学进步，开发新疗法，并带来广泛的物质丰裕。友好而诚实的AI能帮助人们应对生活中的困难，切实提升他们的幸福感和成就感。OpenAI正投入巨大努力来实现这些益处。一个我引以为豪且我的亲人觉得有用的当前例子是，对ChatGPT提供健康信息能力的深度投资。

尽管AI的长期前景可能无比光明，但我们的主要精力应放在未来几年。我们正面临向拥有超级智能机器的世界过渡，需要确保这一过渡对人类有益。我们需要找到方法来维护人类的主体性，并在大多数任务可由AI完成的世界中，赋予作为人类的内在价值。要防止在那些曾需数千名专家才能完成的事业现在仅需少数人操作大型计算机即可实现的世界中，权力极端集中。同时，要确保人类始终掌控未来，不被超越我们自身的异类智能所引发的无节制进步所抛弃。

目前，我认为没有任何实验室在对齐与监控方面达到了足以负责任地继续以最大速度扩展的程度。我期望并希望自愿放缓成为常态，直到确立共同的安全标准。同时，我坚信，未来人工智能发展的国际协调必须成为世界各国政府的首要任务。