迪奥戈·阿尔梅达:共同发明ChatGPT后,我不断自问:为何超人类聊天模型未能引领AGI?
我是 Diego Almeida,TypeSafe AI 的创始人。在 OpenAI 期间,我参与创造了 ChatGPT 和 RLHF——大多数前沿 AI 背后的后训练算法。
我们的团队训练出了第一批在指令遵循上超越人类的模型,也就是我们现在所说的对话。我们问自己:在对话上超越人类的模型就是 AGI 吗?答案显然是否定的,但那个万亿美元的问题是:为什么不是?
这导致了语言模型被优化为迎合人类偏好,并带来模式坍缩、过度自信和整体缺乏可靠性等问题。这些缺陷意味着语言模型需要人类介入,几乎无法实现真正的自动化。
在 TypeSafe,我们花了两年时间构建,终于准备好分享我们新型的基础模型——专为自动化优化的 System 1 模型。
它拥有全新架构、全新采样器和全新训练算法,学习做出经过校准的决策。如果你并排对比,改进一目了然。
像对 LLM 一样,向 System 1 模型提出大量结构化问题,答案几乎瞬间返回。而 LLM 完成响应要慢上数百倍。
看看 LLM 如何逐字生成——这对自然对话很棒,但对计算机完全没用。LLM 从自回归的细小吸管中提取智能。就像 Transformer 对 RNN 的跨越一样,我们正在用并行计算取代顺序计算,因为这显然是未来。
我们的 System 1 模型输出的是带有概率和置信度的决策,而非文字,因此它们不会产生幻觉。它们更像代码——可靠、快速、自洽、类型安全。
这开启了全新的可能性与应用世界。
今天,我们发布 JIV——首个公开的 System 1 模型。快 100 倍,实时 AI 终于成为可能。便宜 100 倍,输入 token 定价为每十亿 token 42 美元。输出 token 免费,因为它们终于便宜到无需计量。
它非常智能,其每美元智能简直爆表。
这只是开始。我们期待看到你们用 JIV 构建什么。
正如我们在 TypeSafe 所说:我们在构建产品,而非上帝。
如果你喜欢等上几秒才得到响应,或者为从未要求的文字付费,请不要使用 JIV。
这些影响可能包括:更少的重试、更少的解析器、更少的损坏模式,以及智能运行在每一个软件循环之中。你的软件可能开始审核每条消息、路由每张工单、审阅每份文档,并做出数百万个此前因太慢或太贵而无法自动化的后台决策。随着成本下降,整个软件类别可能被重写,使用量可能急剧增加。问问你的开发者,你的行业是否已经准备好了。