迪奥戈·阿尔梅达:共同发明ChatGPT后,我不断自问:为何超人类聊天模型未能引领AGI?

X · DIOGO ALMEIDA2分56秒 · AI 语音转写 · 词级双语字幕
原视频
口播稿 · 逐行
原画准备中
字幕

我是 Diego Almeida,TypeSafe AI 的创始人。在 OpenAI 期间,我参与创造了 ChatGPT 和 RLHF——大多数前沿 AI 背后的后训练算法。

我们的团队训练出了第一批在指令遵循上超越人类的模型,也就是我们现在所说的对话。我们问自己:在对话上超越人类的模型就是 AGI 吗?答案显然是否定的,但那个万亿美元的问题是:为什么不是?

这导致了语言模型被优化为迎合人类偏好,并带来模式坍缩、过度自信和整体缺乏可靠性等问题。这些缺陷意味着语言模型需要人类介入,几乎无法实现真正的自动化。

在 TypeSafe,我们花了两年时间构建,终于准备好分享我们新型的基础模型——专为自动化优化的 System 1 模型。

它拥有全新架构、全新采样器和全新训练算法,学习做出经过校准的决策。如果你并排对比,改进一目了然。

像对 LLM 一样,向 System 1 模型提出大量结构化问题,答案几乎瞬间返回。而 LLM 完成响应要慢上数百倍。

看看 LLM 如何逐字生成——这对自然对话很棒,但对计算机完全没用。LLM 从自回归的细小吸管中提取智能。就像 Transformer 对 RNN 的跨越一样,我们正在用并行计算取代顺序计算,因为这显然是未来。

我们的 System 1 模型输出的是带有概率和置信度的决策,而非文字,因此它们不会产生幻觉。它们更像代码——可靠、快速、自洽、类型安全。

这开启了全新的可能性与应用世界。

今天,我们发布 JIV——首个公开的 System 1 模型。快 100 倍,实时 AI 终于成为可能。便宜 100 倍,输入 token 定价为每十亿 token 42 美元。输出 token 免费,因为它们终于便宜到无需计量。

它非常智能,其每美元智能简直爆表。

这只是开始。我们期待看到你们用 JIV 构建什么。

正如我们在 TypeSafe 所说:我们在构建产品,而非上帝。

如果你喜欢等上几秒才得到响应,或者为从未要求的文字付费,请不要使用 JIV。

这些影响可能包括:更少的重试、更少的解析器、更少的损坏模式,以及智能运行在每一个软件循环之中。你的软件可能开始审核每条消息、路由每张工单、审阅每份文档,并做出数百万个此前因太慢或太贵而无法自动化的后台决策。随着成本下降,整个软件类别可能被重写,使用量可能急剧增加。问问你的开发者,你的行业是否已经准备好了。

知识卡片
一句话总结1 张
一句话总结

ChatGPT 共同发明人 Diego Almeida 指出,对话模型迎合人类偏好导致模式坍缩、过度自信、不可靠,无法自动化;他创立 TypeSafe 推出 System 1 模型 JIV,用并行决策取代顺序生成,快 100 倍、便宜 100 倍,专为自动化优化。

全文脉络1 张
全文脉络
对话模型不是 AGI,System 1 才是自动化未来
核心观点4 张
核心观点
01

对话超越人类≠AGI

在指令遵循上超越人类并不等于 AGI。模型被优化为迎合人类偏好,导致模式坍缩、过度自信和不可靠,需要人类介入,无法真正自动化。

核心观点
02

LLM 顺序生成是瓶颈

LLM 逐字生成,对自然对话很棒,但对计算机完全没用。它从自回归的细小吸管中提取智能,速度慢数百倍。

核心观点
03

System 1 输出决策非文字

System 1 模型输出带有概率和置信度的决策,而非文字,因此不会产生幻觉。它们更像代码——可靠、快速、自洽、类型安全。

核心观点
04

JIV 快 100 倍便宜 100 倍

JIV 是首个公开的 System 1 模型,快 100 倍,实时 AI 成为可能;便宜 100 倍,输入每十亿 token 42 美元,输出免费。

金句摘录2 张
金句
正如我们在 TypeSafe 所说:我们在构建产品,而非上帝。
金句
LLM 从自回归的细小吸管中提取智能。
行动1 张
拥抱自动化新范式
已生成 9 张 · 每篇精选,少而精