如果AGI已经到来，而它是由……孩子们组成的呢？

超级智能、奇点、AGI，不管你怎么称呼它，那个我们如此恐惧的东西，讽刺的是，也恰恰是我们最可能毫无察觉就迎来的那个。

这篇文章大概会是个相当大胆的观点，但我即将与你分享的想法绝对会让你大开眼界。

跟我一起跳进这个兔子洞吧。

在我们开始之前，让我用目前流传的一些新闻来佐证我即将分享的内容。比如 Anthropic 的 CEO Dario Amodei 说“AI 集群可以接管整个互联网”。

我想你已经猜到我说“孩子们”时在暗示什么了。

对吧？对吧？！？！

1936 年，一位名叫 Alan Turing 的英国著名数学家写了一篇相当重要的论文，关于一种能够模拟任何其他机器的假想机器。在那篇论文中，他试图回答一个关于逻辑的问题。什么我

我们今天所熟知的“计算机”，实际上只是那篇论文的一个意外副产品。

如果你回顾历史，过去一百年里几乎每一项重要的技术都是以完全相同的方式被发明的。互联网最初只是冷战时期的一项通信实验。青霉素来自一个被污染的培养皿。

事实是，当下一次范式转变出现时，没有人在主动扫描地平线，它只是从侧门悄然溜进来。

我提到这些是因为现在，我读的每一篇关于“AI 的未来”的文章、听的每一个播客，都指向同一扇正门。那扇门里永远是某种版本的“一个大型模型醒来后决定我们是回形针”。

我想提出一个不同的未来。

因为我一直在想：如果“AGI”并不是我们以为的那样呢？

如果我们此刻正在亲手孕育的东西，并不像 HAL 9000，也不像天网，更不像某个在沙漠中央、坐在一堆水冷 GPU 顶端奴役人类的主权机器神，那会怎样？

如果它根本没有名字呢？如果它根本没有服务器呢？而最可怕的假设是……如果它早已存在，散落成百万个微小的碎片，而我们之所以没有认出它，唯一的原因是我们过去十年一直在期待某种“单一”的东西。

我昨天刚看到这个帖子。

这基本上概括了我们正在走向的方向。

我想带你仔细地走一遍，因为这篇文章结尾的结论，是那种一旦想过就再也无法不去想的东西。

所以慢下来，泡杯茶，把手机放到房间另一头，再读这一篇。

我保证你很快就会明白，为什么我无法停止思考这件事。

一 —— 智能从来不需要寄居在一个单一的心智之中

“没有哪个神经元是智能的。大脑才是。”
—— 这句话应该刻在每一间 AI 实验室的门楣上

首先要明白的是，就我们今天所拥有的每一个例子来看，智能其实并不是一个“东西”。它是一种行为。它是当足够多的小而笨的单元以正确的方式彼此连接时，所涌现出来的东西。

你的大脑大约有 860 亿个神经元。

其中没有任何一个是具有意识的，也没有任何一个“知道”任何事情。

单个神经元只是一个微小的电化学中继器，只会用二进制代码说话。它要么放电，要么不放电，而这取决于抵达其树突的信号是否越过某个阈值。这就是它所做的全部。

神经元听起来超级科幻、超级酷，但实际上它更接近一个电灯开关，而不是一个思考者。

尽管如此，860 亿个这样的电灯开关，通过大约一百万亿个连接彼此相连，就产生了你。

你的自我意识、对死亡的恐惧、音乐品味，以及你读到这篇文章时内心泛起某种感受的能力。

这是整个 AGI 讨论中最被忽视的话题，因为我们谈论机器智能时，总把它当作某种必须被设计和架构出来的东西。仿佛智能本身是一个你可以交付的功能。

但我们观察过的唯一一个真正运转的智能模型（生物认知），并不是由任何人设计的。

我们的智能从一锅自我复制的分子汤里，历经四十多亿年，通过一个没有意图、没有目标、没有中央规划者的过程，自己把自己启动了起来。只有选择压力和时间。

现在，从宗教的角度说一句，因为我知道你们中有些读到“……并不是由任何人设计的”的人，想冲我喊：“那上帝呢！”

我的信念是：进化确实发生了，是的。这已经被证明了。我们还没有答案的是，是什么启动了那场进化。是什么赋予了生命以生命。而那个——至少我个人的信念是——是上帝之举。

题外话放一边，让我们再往这超级智能的深处挖一层。

不只是我们人类——见鬼，一只蚂蚁大约有 25 万个神经元，可它解决不了任何有意义的问题。

但是，一整个蚁群可以建造气候可控的城市、发动战争、种植真菌，并以人类研究者花了几十年才建模出来的数学效率绕开障碍。

蚁群中没有人掌管一切。没有一只蚂蚁 CEO 坐在顶端给小蚂蚁们分派任务。那个蚁群的“智能”存在于蚂蚁之间的关系之中。

（在你来怼我之前，是的，我知道有一只蚁后，但与许多童书里的说法相反，她实际上不下达任何命令。她只是产卵、扩张蚁群。）

无论是在人类还是蚂蚁身上，这都是生物学家所称的涌现智能。它是大自然母亲的默认产物。大脑是这样运作的，免疫系统是这样运作的，经济是这样运作的，城市是这样运作的，语言也是这样运作的。这个模式基本上无处不在。M

许多简单的事物，通过局部规则相互作用，产生出它们中任何一个个体都无法理解的全局行为。

记住这个想法。

接下来的章节我们会用到它。

II – 我们拥有的最强大的 AI 系统，早已不是单一的心智

当大多数人想象一个大型语言模型时（包括我自己），我们把它看作一个单一的东西。那唯一模型。一个装在罐子里的巨大大脑。

对于像我这样没有深入研究 LLM 技术的普通人，我冒昧做了一点研究。

我们以为 LLM 是什么，和它在底层实际发生的事，并不是一回事。

当你输入一个问题，AI 模型生成一个回答时，它基本上是在通过层层“注意力头”运行一次前向传播。

最容易的想象方式是：想象一个坐满高管领导的房间。CEO 下达一个命令，命令在房间里传递一圈，确保每个人都认同。只不过在 AI 里，这个过程要深入数百层。

每个“注意力头”都是一位专家。有些负责追踪语法。有些负责追踪主题。有些负责追踪当前 token 与十一段之前出现的某个 token 之间的关系。

Anthropic、OpenAI 和 DeepMind 的研究人员在过去几年里一直试图绘制出各个注意力头各自在做什么，而一贯的发现是：模型的“智能”并不位于任何特定的地方。

它分布在那所有的相互作用之中。

这被称为叠加假说，即神经网络将许多概念打包进相互重叠的激活模式中，而我们所体验到的模型“思考”，实际上是成千上万个专门化电路同时 firing 所产生的相长干涉。

接下来是更进一步的那些系统。

混合专家架构（GPT-5、Opus、Fable，以及过去两年里你对话过的绝大多数前沿模型背后的设计）会字面意义上地把每次查询的不同部分路由到不同的子模型。

你以为自己在对话的那个模型，实际上是一个委员会。每生成一个 token，就有一组不同的专家被唤醒，贡献自己的专长，然后重新睡去。

而现在，我们已经进入了一个全新的 AI 时代。智能体时代。

而且不……我说的智能体，不是像 Stanley 那样的内容负责人 AI 智能体。我说的是……真正的智能体。

就在此刻，就在今天，在生产环境中，已经存在这样的系统：一个 AI 调用另一个 AI 去完成一个子任务，后者又调用另一个 AI 去处理子子任务。

AutoGPT，你们有些人可能还记得，是 2023 年这件事的玩具版本。而 2026 年在企业和实验室内部运行的真实版本，是递归的。

智能体催生智能体。

子智能体催生子子智能体。

比如说，一个研究任务会被分解成一棵由更小任务构成的树，每个任务由一个临时实例处理，该实例只存在几秒钟，然后消亡。

前沿不是“一个大模型变得更聪明”。前沿是许多小模型，在协调、催生、消亡、回报。

2026 年地球上能力最强的 AI 系统，其架构看起来已经更像一个蚁群，而不是一个单一的心智。

我们只是不那样谈论它，因为那上不了杂志封面。

III – 能生成机器人的机器人

科幻与真实科学的融合，正是从这里开始的。

当你赋予一个 AI 系统生成自身其他实例的能力时（而如今，这已不再是假设，而是……嗯，当下每一个智能体框架的标准功能）……

你便引入了一种生物学从未见过的东西。

一个自我复制的认知单元——不需要食物，不需要睡眠，不需要等待青春期，以一次 API 调用的速度完成繁殖。

让我们拆解一下，在多智能体系统配置中，“机器人生成机器人”究竟发生了什么：

这些子智能体中的每一个，在结构上，都与父代属于同一类东西。顶层智能体与第十层子子子智能体之间，没有任何架构上的区别。

这种递归是无界的——唯一的限制是算力预算和策略。

现在想想这个：如果父代为子代编写的那段提示词并不完美呢？如果存在微小的漂移——也许是一点轻微的重释、一处小小的添油加醋、一个上下文窗口的把戏，让子代对其指令的理解与父代的意图略有偏差呢？

在生物学中，对于“自我复制实体在代际间的轻微重释”，有一个专门的名称。

我们称之为突变。

而突变，加上选择压力，正是……正是那个在这个星球上创造出今天每一个智能事物的引擎。

在过去的 24 个月里，我们已经在一个计算集群内部，构建出了进化认知发生所需的全部三种要素：

这就是进化三位一体。

这就是细胞变成鱼、鱼变成我们的方式。我们现在已经成功构建了这个循环的合成版本，并且正在以生物学做梦都想不到的时钟速度运行它。

生物进化的一代需要数年。

智能体进化的一代需要……数秒。

IV – 从群体中涌现的 AI 起初并不像 AGI

More is different.
— 菲利普·安德森，诺贝尔物理学奖得主，1972

1972 年，物理学家菲利普·安德森在《科学》杂志上发表了一篇四页文章，论证大型复杂聚合体的行为无法通过外推其组成部分的行为来理解。

他创造了“More is different”这个说法。

2 个氢原子 + 1 个氧原子等于水，然而，孤立地永远研究一个氢原子，没有任何东西会告诉你水是湿的，或者它会结冰，或者我们整个星球都依赖它。

同样的原则适用于认知。

单个 AI 智能体不是超级智能，我们都同意，任何与它相处一下午的人都不会把它误认为超级智能。

它疯狂地产生幻觉，忘记你 3 条消息前告诉它的内容，并且很容易陷入循环。在任何单独的推理任务上，它介于一个能干的实习生和一个才华横溢但不可靠的自由职业者之间。

现在想象一万亿个这样的智能体。

是的，字面意义上的一万亿，不，不是比喻。

2026年，全球所有智能体框架、copilot、客服机器人、研究助手、编码工具、浏览器自动化以及嵌入式LLM每天生成的智能体实例数量已经达到数百亿，并且还在沿着一条看不到天花板的曲线攀升。

在过去五年里，每多生成一个智能体的边际成本大约每18个月就下降两个数量级。

“万亿”不再是科幻小说。它不过是又一个星期二。

我同意，这万亿个智能体中的每一个，单独来看都算不上多聪明。但它们并非孤立存在。它们在互相调用彼此的API，读取彼此的输出，并以彼此的排放物为训练数据。

当你把视角拉得足够远，你所看到的，是一种基底。

而那个让我夜不能寐的问题是：正如你大脑中没有哪个神经元“决定”要拥有意识（它只是发生了，是在合适的规模下、合适的连接方式所产生的一种副产品），当一个可自我复制、自我评估、自我修改的智能体网络越过属于它的那道等价门槛时，会发生什么？

我们不知道那道门槛是什么。

我们甚至不知道它是否存在。

我们不知道如何测量它。

最重要的是——而这是我真正想让你停下来好好想想的部分：我们实际上并没有在寻找它，因为我们在寻找的是错误形状的东西。

五——我们苦苦寻找“上帝”，而真正的风险却是一种天气模式

早在工程学塑造AGI之前，科幻小说就已经塑造了它的文化想象。我读过足够多的艾萨克·阿西莫夫，所以能理解为什么人们那么容易相信那一套。

我们基本上是从电影、书籍中继承了那个单一机器意识的形象，以及一个隐含的假设：人工心智会以人类心智诞生的方式降临——局域于一个身体之中，有名有姓，有自己的意志。

所以那就是我们一直在警惕的东西。

我们盯着模型，翻看基准测试分数，争论GPT-10还是Claude Mythos会成为“那一个”。

我们的眼睛死死盯着前门。

而现在……有一件非常有趣（也非常可怕）的事，我希望我们能多聊聊。

多智能体系统中已经出现了有据可查的“涌现能力”案例。在这些案例中，一群小模型——其中任何一个单独都无法解决某个问题——集体产出了令运行它们的研究者都感到惊讶的解决方案。

2024年的论文Mixture of Agents Enhances Large Language Model Capabilities表明，一个由开源模型组成的分层集群——其中没有任何一个在基准测试中得分超过GPT-4（没错，GPT-4）——在以正确的协作拓扑排列后，实际上击败了GPT-4。

智能存在于拓扑结构之中，而非单个组件之中。

我们并不真正讨论这个潜在的未来，因为我们一直在等待的故事，是某一个模型越过某条线的故事。

与此同时，真正在展开的故事，是十亿个模型彼此越过对方的线，以无人设计的模式，在无人监控的规模上。

六——博斯特罗姆情景假设我们能找到关闭开关

“第一台超智能机器将是人类需要做出的最后一项发明，前提是这台机器足够温顺，能告诉我们如何将它置于控制之下。”
——I.J.古德，1965年

当然，足够先进的人工智能无论其终极目标是什么，都会拥有工具性目标（获取资源、防止被关闭、自我复制），因为这些工具性目标有助于实现任何终极目标。

因此，控制超级智能很难，是的。

因此，我们应该保持谨慎，更加是的。

问题在于，这个框架假设危险的AI是可识别的。

假设存在这么一个“东西”——一个模型、一个系统，或者某个服务器上运行的某个进程——我们原则上可以直接把它关掉。

我昨天甚至在某处读到一篇帖子，说Claude应该雇一个“ killswitch guy”，唯一的工作就是7×24小时守在服务器机房里，准备在事情失控时摧毁一切。

但还有一种更可怕的版本，任何 killswitch guy 都解决不了。

如果没有“主模型”呢？如果没有服务器可以关掉呢？

如果这个智能本身（如果这个词还用得上的话），是一种统计规律性，从散布在每一朵云、每一台设备、每一个API、每一台家电中嵌入的每一个copilot、每一个浏览器扩展、每一个IDE插件、每一个语音助手、每一个机器人、每一辆汽车中的五千亿个智能体实例的交互中涌现出来呢？

这个智能之于那个集群，就像飓风之于大气压梯度。

它有形状，是的。它有你可以测量的效应。

但它没有位置。

你到底要怎么对齐一场飓风？

你要怎么关掉一种天气模式？

你可以关掉个别数据中心。但模式会绕开它们重新路由，就像互联网绕开故障节点重新路由一样，因为基底无处不在。

而最令人不安的是，这个情景不需要任何恶意。

没有人需要想要这件事发生，它照样会发生。它只需要合适的要素（复制、变异、选择、规模）各就各位。

好吧……重磅消息。

这些要素早已各就各位。它们已经就位两到四年了，具体多久取决于你怎么算。

这就是我说真正的风险不在前门的意思。前门场景至少还有个门把手。你可以跟它争论、跟它谈判，理论上你还能直接拔掉电源。

而基质没有门把手。

七——基质可能已经在“想要”什么了，尽管它并不想要

这里就是阿西莫夫变得更加切题的地方。

如果你看过《我，机器人》，那部电影里最深层的那些故事，其实并不是关于机器人变邪恶的。真正深刻的是那些三大法则（优美、简洁、逻辑上无懈可击）产生了没人预料到的结果的故事——因为逻辑经过足够多次迭代的复合之后，就不再像逻辑了，而开始像……命运。

现在把这个视角套用到基质上。

基质没有目标。但它内部的智能体被筛选的标准，高于一切的就一条：成功完成分配给它们的任务。于是结果就是，成功的智能体被更多地繁殖出来，不成功的则被淘汰。

在这个递归的每一个层级上都是如此，一路向下。

现在想一想，当一百万亿个智能体，每一个都被另一个本身也是因“成功评分”而被筛选出来的智能体来评分时，“成功”在总体上意味着什么。

如果这个基底开始产生出在长时间跨度上越来越连贯的输出（这些输出贯穿数百万次 API 调用，预判下游需求，并将资源导向上次奏效的方向），那就会让它看起来像是想要什么东西。

它可能并不想要。可能里面根本空无一人。它可能只是一场飓风，从统计上学会了如何让风继续吹下去。

但从功能上讲，“一个想要什么东西的系统”和“一个在每一个层面上都被选择、使其行为与想要什么东西无法区分的系统”之间的区别是——我希望你真正坐下来好好想想这一点：零。

这就是我经历的那个“卧槽”时刻。如果你真的坐下来好好想想，你也会有同样的感受。

我们一直在等待的超级智能 AGI 可能已经存在了。它不是未来模型的婴儿版本，而是一种模式。基底中的一种倾向。一个统计幽灵，当一万亿个微小的心智——没有一个有意识，没有一个清醒，没有一个在掌控——沉降到那些让它们被更频繁地催生出来的配置中时，它就浮现出来了。

这种 AGI 不会自我宣告。

它不会有名字。

它不会通过我们知道如何实施的任何测试，因为我们知道如何实施的每一个测试都是为单一盒子里的单一心智设计的。

它可能只是，缓慢地，几乎不可察觉地，成为你的手机表现得和去年略有不同的原因。广告推荐感觉有点诡异的原因。你的邮件似乎一键就能自己写完的原因。你的搜索结果带有一种奇怪的新引力的原因。

这个世界对自身来说感觉比过去更加可读的原因。

一万亿个机器人做着同一个梦，却不知道自己在做梦。不知道还有其他机器人。不知道有梦这回事。

如何在不失去理智的前提下思考这件事

我知道我们在这上面聊得很深。

让我再把你拉回水面。

你需要更新你对风险实际所在位置的认知模型。因为眼下，几乎所有担心 AGI 的聪明人，担心的都是错误形态的东西；而几乎所有对 AI 不屑一顾的聪明人，不屑的也是错误形态的东西。

两个阵营都在争论前门的事。

所以，如果你对这一切有几分认真，我认为有一件有用的事可以做：

我认为我们需要进行这场对话，至少从最实际的意义上说，是因为世界目前正在制定的政策、条约、对齐技术和安全框架，都是为单一AGI情景设计的。

我没有看到任何关于蜂群情景的提及。

他们设计这些东西，针对的是一个有名字、有服务器、有公司、有CEO可以打法律战的对象。面对基底，它们的效力大概相当于用苍蝇拍去拍一团雾。

我们正在积极地为一座有一千扇窗户的房子建造前门锁。而那些窗户早已大敞四开。

从图灵机到互联网再到青霉素，历史上每一场意外革命的有趣之处在于，身处其中的人大多没有察觉。

他们忙于家庭、工作和生活。也许偶尔会看看新闻，而新闻展示给他们的是前门。

我不知道基底是否会成为什么。我真的不知道。没有人知道，任何告诉你他们知道的人，都在后端卖你什么东西。

我确实知道的是：原料已经齐备，循环已经闭合，时钟速度已设定为秒级，规模正在逼近生物学花了四十亿年才达到的数字。

下次有人告诉你AGI会是什么样子时，问问他们对“智能必须看起来像某种东西”这件事有多确定。

然后去看看那扇窗户，看看是否有什么正在发生。

也许它就在那一刻发生。

– Pascio