通才:介绍GEN-1.5,一次性学习者。
机器人基础模型的梦想,是让你走到一台机器人面前,几乎立刻让它完成任何任务,并将这种能力泛化到各种场景中。
我们的新模型 Gen 1.5 是一个即时学习通才,具备一次性学习能力。
它能在数秒内,通过上下文提示,学习并泛化新任务。
它还能组合多个提示,以掌握更长期的任务。
它可以从模拟器中获得提示,并将这些行为迁移到现实世界。
在某些情况下,它甚至能直接观察人类,并当场模仿他们的动作。
对于少样本学习,它只需 1 到 10 个梯度步骤,基于 1 到 5 分钟的数据,就能掌握新任务。
它展现出物理层面的泛化能力,包括即兴使用新工具来完成任务。
所有这些能力,开箱即用。
它最快的学习方式,是在新任务上零训练,仅需将几秒钟的演示数据放入模型上下文中。
我们向机器人展示要做什么,它便能将其泛化。
我们将此称为“物理提示”。
我们进行上下文提示的变体研究已约一年,但首次看到如此强大的泛化上下文学习能力。
这些任务目前虽然简单,成功率也不算高,但此前从未有模型能做到这一点。
这并非我们明确训练出来的,而是从新训练方法中涌现出的能力。
除了上下文学习,它还能通过极少的训练步骤进行学习。我们观察到的物理泛化新水平中,包括新颖的工具使用即兴发挥。
例如,我们教它用刷子将积木扫入碗中,当给它一根香蕉时,它能设法将香蕉当作临时刷子使用。
当给它一个簸箕时,它会用另一只手将积木推到簸箕上,然后抬起簸箕,将积木倒入碗中。
它还能清扫多个物体,并学会灵活换手操作。
总体而言,它展现出比以往模型更强的即兴智能。
当一只手上粘着乐高积木时,它会用另一只手将其取下。
我们曾教它把积木放入碗中,但随后我们用一张纸盖住了碗。
它移开纸张以完成任务。我们教会它单手打开罐盖,结果它直接用双手完成了。当我们给它不同的瓶子和杯子时,它也摸索出了打开它们的方法。
我们还开始看到人机之间情境学习的涌现——一个人只需用自己的双手向机器人演示操作,机器人就能当场模仿执行。
尽管我们仍处于非常早期的阶段,但对机器人基础模型中这一智能新领域的潜力感到无比兴奋。