Skild AI:推出S1,我们的新基础模型,仅需一例即可学习。
嘿,机器人,我给你看个东西。你能做到这个吗?
人类学习新事物不需要上千个样本,通常一个就够了。
今天我们发布 S1,一个通用机器人基础模型,只需一段视频就能学会各种全新任务。它可以被教会执行超过十分钟的超长时序任务,这些任务从未出现在它的训练数据中,仅凭一段视频提示传入其上下文窗口即可完成。
这个概念叫做上下文学习,正是它定义了从 GPT-1、GPT-2 这类研究项目到 ChatGPT 这类革命性产品的飞跃。你把一段演示放进上下文窗口,就像给提示附上一个示例,它就会输出机器人动作来完成任务。
我们逐一来看。S1 可以学习长达十分钟的任务,它能详细记住每一步。比如,你可以教机器人做煎饼,它就会做煎饼。你可以教它做咖啡,它就会按照你的方式做出来。教它给植物换盆,它也会照做。
学习如此长时序的任务,让 S1 能够自动化远比以往任何方法都更有价值的工作。它第一次翻煎饼的时候,我们简直不敢相信,因为我们以为数据集中根本没有翻煎饼的数据。哇。
为了验证这一点,我们花了两天时间翻查所有预训练数据,大约一百万小时,想确认是否有翻煎饼的数据混了进去。结果并没有。原来机器人只是通过观察视频中锅铲的运动就学会了这个动作。
这引出一个重要概念,即已知任务与预训练分布内任务,和完全新颖任务之间的区别。对于已知任务,上下文学习的效果与语言提示的 VLA 模型相当。但当任务在预训练中完全未见时,上下文学习才真正大放异彩,而且随着预训练规模扩大,这个差距呈指数级增长。
比如,这个任务不可能在分布内。这是一个卫生套装,包含特定成分,按特定方式打包。S1 能够记住套装的每一个组件和组装过程的每一个步骤,尽管它在部署前几分钟才第一次看到。
由于 S1 的有效上下文窗口非常大,它展现出几种稳健的行为方式。
泛化与应变能力
首先,如果场景或其中的物体发生位移,它能泛化到新的配置。其次,即使机器人犯了错,它也能即兴应对,哪怕人类在视频提示中并未这样做。第三,即使人类在视频中操作不够理想或犯了错误,S1 也能推测用户的意图,并运用常识来达成目标。
当我们改变提示设置、重新排列物品、翻转物体、更换对象时,机器人的准确率下降得非常平缓。这意味着你可以录制一次演示,然后部署到多个不同的地方。
对比传统方法
在上下文学习出现之前,任何新任务都可能需要数月的数据采集和后训练。我们发现,要达到 S1 仅用一个提示示例就能展现的准确率,当前的 VLA 模型需要用 50 到 100 小时的数据采集来训练。
迄今为止,机器人只对拥有庞大资源、愿意为引入机器人而彻底改变自身配置的组织才有用。我们设想,有了 S1,每一家小企业、每一家杂货店、每一家医院、每一个组织都能获得同样强大的机器人能力。
这些成果只是新路径上的最初生命迹象——一条通向扎根于物理世界的通用智能之路。谢谢。