Skild AI:推出S1,我们的新基础模型,仅需一例即可学习。

X · SKILD AI5分14秒 · AI 语音转写 · 词级双语字幕
原视频
口播稿 · 逐行
原画准备中
字幕

嘿,机器人,我给你看个东西。你能做到这个吗?

人类学习新事物不需要上千个样本,通常一个就够了。

今天我们发布 S1,一个通用机器人基础模型,只需一段视频就能学会各种全新任务。它可以被教会执行超过十分钟的超长时序任务,这些任务从未出现在它的训练数据中,仅凭一段视频提示传入其上下文窗口即可完成。

这个概念叫做上下文学习,正是它定义了从 GPT-1、GPT-2 这类研究项目到 ChatGPT 这类革命性产品的飞跃。你把一段演示放进上下文窗口,就像给提示附上一个示例,它就会输出机器人动作来完成任务。

我们逐一来看。S1 可以学习长达十分钟的任务,它能详细记住每一步。比如,你可以教机器人做煎饼,它就会做煎饼。你可以教它做咖啡,它就会按照你的方式做出来。教它给植物换盆,它也会照做。

学习如此长时序的任务,让 S1 能够自动化远比以往任何方法都更有价值的工作。它第一次翻煎饼的时候,我们简直不敢相信,因为我们以为数据集中根本没有翻煎饼的数据。哇。

为了验证这一点,我们花了两天时间翻查所有预训练数据,大约一百万小时,想确认是否有翻煎饼的数据混了进去。结果并没有。原来机器人只是通过观察视频中锅铲的运动就学会了这个动作。

这引出一个重要概念,即已知任务与预训练分布内任务,和完全新颖任务之间的区别。对于已知任务,上下文学习的效果与语言提示的 VLA 模型相当。但当任务在预训练中完全未见时,上下文学习才真正大放异彩,而且随着预训练规模扩大,这个差距呈指数级增长。

比如,这个任务不可能在分布内。这是一个卫生套装,包含特定成分,按特定方式打包。S1 能够记住套装的每一个组件和组装过程的每一个步骤,尽管它在部署前几分钟才第一次看到。

由于 S1 的有效上下文窗口非常大,它展现出几种稳健的行为方式。

泛化与应变能力

首先,如果场景或其中的物体发生位移,它能泛化到新的配置。其次,即使机器人犯了错,它也能即兴应对,哪怕人类在视频提示中并未这样做。第三,即使人类在视频中操作不够理想或犯了错误,S1 也能推测用户的意图,并运用常识来达成目标。

当我们改变提示设置、重新排列物品、翻转物体、更换对象时,机器人的准确率下降得非常平缓。这意味着你可以录制一次演示,然后部署到多个不同的地方。

对比传统方法

在上下文学习出现之前,任何新任务都可能需要数月的数据采集和后训练。我们发现,要达到 S1 仅用一个提示示例就能展现的准确率,当前的 VLA 模型需要用 50 到 100 小时的数据采集来训练。

迄今为止,机器人只对拥有庞大资源、愿意为引入机器人而彻底改变自身配置的组织才有用。我们设想,有了 S1,每一家小企业、每一家杂货店、每一家医院、每一个组织都能获得同样强大的机器人能力。

这些成果只是新路径上的最初生命迹象——一条通向扎根于物理世界的通用智能之路。谢谢。

›知识卡片
一句话总结1 张
一句话总结

Skild AI 发布通用机器人基础模型 S1,仅凭一段视频提示即可学会训练数据中从未出现的全新任务,甚至能完成超过十分钟的长时序任务。

全文脉络1 张
全文脉络
S1:一段视频学会全新任务
核心观点3 张
核心观点
01

上下文学习是关键

S1 的核心机制是上下文学习——把演示视频放进上下文窗口,就像给提示附上示例,模型直接输出机器人动作。

  • 这正是从 GPT-1/2 到 ChatGPT 的飞跃逻辑
  • 机器人无需重新训练即可掌握新任务
核心观点
02

新颖任务才真正出彩

对于已知任务,上下文学习与语言提示的 VLA 模型效果相当;但当任务在预训练中完全未见时,S1 才真正大放异彩,且差距随预训练规模扩大呈指数级增长。

核心观点
03

泛化与应变能力

S1 展现出多种稳健行为:

  • 物体位移时能泛化到新配置
  • 机器人犯错时能即兴应对
  • 人类演示不完美时能推测意图并运用常识达成目标
金句摘录2 张
金句
它第一次翻煎饼的时候,我们简直不敢相信,因为我们以为数据集中根本没有翻煎饼的数据。哇。
金句
我们设想,有了 S1,每一家小企业、每一家杂货店、每一家医院、每一个组织都能获得同样强大的机器人能力。
行动1 张
如何用 S1 落地
已生成 8 张 · 每篇精选,少而精