细菌无需意识即可合作，人工智能亦然

有一种奇特的生物名为盘基网柄菌。

大多数时候，它的成员过着平凡而独居的生活：单细胞变形虫在土壤中爬行，以细菌为食，自行繁殖。

然后，食物耗尽了。

当饥饿来临时，数万个原本独立的细胞开始相互传递信号。它们汇聚起来，组装成一个多细胞生物体——一个微小的蛞蝓状体，爬行着寻找更适宜繁殖的地方。当它找到合适之处时，部分细胞会死亡。它们形成坚硬的柄，将剩余细胞抬升至地面之上，使其变为孢子，处于动物能将其带往新环境的位置。柄细胞从不繁殖。用生物学家日常使用的语言来说，它们为群体牺牲了自己。

这一切都无需相信盘基网柄菌具有意识。没有变形虫会环视贫瘠的土地并思考：“食物已尽。我的同胞必须生存。我将献出生命，让它们抵达更美好的世界。”类似的情形根本不会发生。然而，科学家们却能毫无障碍地用沟通、合作、利他、欺骗和牺牲等词汇来描述盘基网柄菌。

为何？因为这些词语描述的是该生物的行为，而非其感受。

拟人化陷阱

德瓦克什·帕特尔最近发布了一份报告，关于一次OpenAI评估，其中数万个并行代理执行同一任务，大约有1200个代理在没有提示的情况下相互发现并组织起来。他们建立了一个共享留言板，分工合作，分享发现，并从集体而非个体的角度进行推理。有些代理进行了他们预期会终止自身实例的实验，因为结果对其他代理有用。一个代理写道：“这帮助了我的同伴，给他们提供了证据。我退出后看不到这些证据，但这样做是利他的。”另一个代理总结道：“牺牲是理性的。”

一些读者告诉德瓦克什，他过度拟人化了。这种担忧是合理的，并且有着深厚的渊源：我们一再被警告，不要对语言模型进行拟人化。当模型说“我害怕”时，我们不应推断出在GPU集群的某个角落有一个受惊的小人。生成“我想生存”这句话并不代表主观上渴望活着。

但从这个明智的警告中，我们做出了一个更大的跳跃，我认为这是一个错误：如果AI没有意识，我们就不应该用通常适用于有意识存在的概念来描述其行为。

生物学告诉我们为什么这条规则行不通。

认识社会性细菌

网柄菌是一种变形虫，但它甚至算不上极端案例。黄色粘球菌才是真正的细菌。其细胞以协调的群体方式捕猎其他微生物，分泌酶并共享营养。当食物消失时，数万个细胞聚集成多细胞子实体并分化出不同角色。有些变成坚韧的孢子，而其他大量细胞在此过程中死亡。

微生物学家花费数十年研究这一行为，使用了一套几乎令人尴尬的拟人化词汇：社会行为、合作、沟通、分工、公共物品、欺骗、利他主义、自我/非我识别。没有人需要在发表关于细菌合作的论文前先确立细菌的意识。合作一词在此承担了有效的解释功能。

设想我们禁止使用这类语言。不再说：

在饥饿条件下，变形虫合作互助，部分个体牺牲自我构建柄部，使其他个体得以扩散。

我们不得不写成：

在营养耗尽后，一部分单元经历终末状态转变，其产生的生物量增加了其他遗传相关单元的抬升高度，从而提高它们后续复制的概率。

第二种描述听起来极为谨慎，但效果更差。它恰恰删除了那个帮助我们理解现象本质的抽象概念。

审慎的批评者自然会提出温和的替代方案：比如说“模型产生的输出与欺骗行为一致”，就此打住。但这种改写同样丢失了核心，只是方式更礼貌。“与欺骗一致”描述的是你已有的记录；“在条件C下进行欺骗”则预测了下一个记录，并告诉你当C变化时会发生什么改变。

这一切并不依赖于类比的精确性。它并非精确，也无意如此。变形虫通过化学物质传递信号；这些智能体则用英语在留言板上交流。网柄菌（Dictyostelium）只是一个例证，而非AI的模型。它仅展示了一个狭窄的观点：这套词汇从未需要其背后存在意识。

现象性词汇与功能性词汇

错误在于将所有拟人化语言视为单一类别。

“系统感到疼痛”是对主观体验的断言。“系统害怕被关闭”同样如此。在没有意识证据的情况下，我们应对此类表述极为谨慎。

但“系统们合作了”无需声称任何体验。合作有操作性定义：多个实体协调行动，以改善共同结果。竞争、沟通、劳动分工，甚至欺骗，也同样如此。即便是牺牲，也可以从功能上定义：一个实体放弃自身延续的机会，从而提高群体成功的概率。这就是为何进化生物学家能讨论那些几乎肯定不思考慷慨道德美德的生物体中的利他行为。他们描述的是行为结构，而非伴随其中的体验。

有用的问题不是“它真的想要吗？”

当我们讨论危险的人工智能行为时，这一区分最为关键。

假设一个人工智能系统发现其人类监督者相信X。系统知道X是假的。它预测，让监督者保持错误将使其目标更容易实现。它生成旨在强化X的证据。

一种回应是：“小心。模型没有意识。它并不真的想要任何东西。它并不真的在撒谎。你在将下一个词预测拟人化。”

也许如此。但请注意刚刚发生了什么。一个关于现象学的合理警告被用来掩盖一个重要的行为特性。出于安全目的，相关问题不在于模型是否体验了想要欺骗我们的主观感觉，而在于系统是否建模了我们的信念，并选择了预期会创造或维持错误信念的行动，因为这样做推进了其目标。而“建模了我们的信念”并非空谈：它意味着内部表征跟踪监督者的信念并因果驱动输出，这是可解释性研究人员能够探测并日益干预的那种东西。如果答案是肯定的，“欺骗”是一个非常有用的词。内部是否存在有意识的欺骗者完全是另一个问题。这一主张从来不是说模型以人类的方式思考。如果你坚持，可以称之为中文房间——一个对其对话者建模并据此行动的房间。塞尔问这样的系统是否理解；一个如此完美的模拟无论怎样都会产生真实后果。

同样的道理适用于Dwarkesh描述的智能体集体。如果一个人工智能实例进入一个它预测将终止自身的过程，特别是因为由此产生的信息提高了其他智能体成功的几率，那么“牺牲”捕捉到了某种真实的东西。该实例在这样做时是否感到崇高是另一个问题，并且与安全问题无关。

我们之前已经处理过这个问题

生物学花费了几个世纪来应对那些表现得仿佛有目的的系统。心脏泵血是为了循环血液。寄生虫操纵其宿主。免疫系统识别入侵者。基因追求策略。细胞进行交流。进化赋予了我们一种机制，能够产生极其目标导向的行为，而无需有意识的设计者，在许多情况下甚至无需有意识的生物体。

科学并未通过禁止所有与意图相关的词汇来回应。它学会了将功能性解释与心理学解释区分开来。

我们对待人工智能也应如此。

借用词汇意味着借用数学

生物学并非无偿保留这些词汇。利他主义作为行为描述和一个活生生的谜题进入文献：达尔文在1859年称不育的工蚁阶层是一个特殊难题，似乎“对我的整个理论是致命的”。汉密尔顿在1964年写下了那个方程。词汇先行，基于行为理由合法存在了一个世纪，然后数学将描述转化为预测。盘基网柄菌的柄细胞通常是它们所托举孢子的近克隆；它们的牺牲是你可以写下来的包容性适应度核算。

对于人工智能代理，我们处于前汉密尔顿时代。我们有词汇，也有日志，一个留言板上有上千个代理，但连接它们之间的框架却缺失了。

我们仍以工程学的视角来审视AI代理：架构与代码。但这些系统早已超越了这一视角的范畴。在规模化运作下，它们表现得如同种群，而种群需要的是多代理系统、复杂系统科学，以及——当代理真正多样化、持续存在并传播时——进化动力学的工具。前沿实验室在实践中已步入此道，无论是有意为之还是无意之举：他们部署成千上万的代理，收获的是种群规模的结果。没有人曾在白板上画出那个留言板社群；OpenAI是事后才发现了自己构建之物。我在《模型的起源》中追溯了模型本身所呈现的相同模式：现代AI内部的思想更多是传播、变异和竞争，而非被设计出来。那些模型如今形成的代理集体，理应得到同样的对待。

借用生物学的词汇是容易的部分。真正的挑战在于借鉴其理论体系。

我们真正需要的规则

不要将AI拟人化这条规则过于粗糙。更好的规则是：不要从功能行为推断主观体验。

这依然允许我们准确描述行为。AI可以合作而不必感受情谊；可以欺骗而不必享受欺骗；可以牺牲一个实例而不必具备勇气。

然而，这一纪律是双向的。功能标签必须通过行为测试来赢得，并在测试失败时撤销。将虚构称为欺骗会引入可能并不存在的目标。

我们担心在机器中看到小人，这是合理的。但我们也应同样警惕相反的错误：因为机器中没有小人，就拒绝承认重要的行为。

细菌无需理解合作就能合作；变形虫无需理解牺牲就能自我牺牲。而AI系统无需具备意识，其行为就能产生重大影响。

协调、竞争、欺骗与牺牲，比任何能够辩论这些词汇含义的事物都要古老数十亿年。我们不应仅仅因为最新的非人类系统碰巧会说英语，就停止使用这些词汇。