通才:介绍GEN-1.5,一次性学习者。

X · GENERALIST3分33秒 · AI 语音转写 · 词级双语字幕
原视频
口播稿 · 逐行
原画准备中
字幕

机器人基础模型的梦想,是让你走到一台机器人面前,几乎立刻让它完成任何任务,并将这种能力泛化到各种场景中。

我们的新模型 Gen 1.5 是一个即时学习通才,具备一次性学习能力。

它能在数秒内,通过上下文提示,学习并泛化新任务。

它还能组合多个提示,以掌握更长期的任务。

它可以从模拟器中获得提示,并将这些行为迁移到现实世界。

在某些情况下,它甚至能直接观察人类,并当场模仿他们的动作。

对于少样本学习,它只需 1 到 10 个梯度步骤,基于 1 到 5 分钟的数据,就能掌握新任务。

它展现出物理层面的泛化能力,包括即兴使用新工具来完成任务。

所有这些能力,开箱即用。

它最快的学习方式,是在新任务上零训练,仅需将几秒钟的演示数据放入模型上下文中。

我们向机器人展示要做什么,它便能将其泛化。

我们将此称为“物理提示”。

我们进行上下文提示的变体研究已约一年,但首次看到如此强大的泛化上下文学习能力。

这些任务目前虽然简单,成功率也不算高,但此前从未有模型能做到这一点。

这并非我们明确训练出来的,而是从新训练方法中涌现出的能力。

除了上下文学习,它还能通过极少的训练步骤进行学习。我们观察到的物理泛化新水平中,包括新颖的工具使用即兴发挥。

例如,我们教它用刷子将积木扫入碗中,当给它一根香蕉时,它能设法将香蕉当作临时刷子使用。

当给它一个簸箕时,它会用另一只手将积木推到簸箕上,然后抬起簸箕,将积木倒入碗中。

它还能清扫多个物体,并学会灵活换手操作。

总体而言,它展现出比以往模型更强的即兴智能。

当一只手上粘着乐高积木时,它会用另一只手将其取下。

我们曾教它把积木放入碗中,但随后我们用一张纸盖住了碗。

它移开纸张以完成任务。我们教会它单手打开罐盖,结果它直接用双手完成了。当我们给它不同的瓶子和杯子时,它也摸索出了打开它们的方法。

我们还开始看到人机之间情境学习的涌现——一个人只需用自己的双手向机器人演示操作,机器人就能当场模仿执行。

尽管我们仍处于非常早期的阶段,但对机器人基础模型中这一智能新领域的潜力感到无比兴奋。

知识卡片
一句话总结1 张
一句话总结

Gen 1.5 是具备一次性学习能力的机器人基础模型,能通过上下文提示在数秒内学习新任务,并展现出物理泛化与即兴智能。

全文脉络1 张
全文脉络
Gen 1.5:即时学习通才
核心观点3 张
核心观点
01

上下文学习涌现

上下文提示使模型能快速泛化新任务,无需显式训练,这是从新训练方法中涌现的能力。

核心观点
02

物理泛化新水平

模型能即兴使用新工具,如用香蕉当刷子、用簸箕转移积木,展现出更强的即兴智能

核心观点
03

人机情境学习

人类直接演示,机器人即可当场模仿,标志着人机交互学习的新方向。

金句摘录2 张
金句
所有这些能力,开箱即用。
金句
我们将此称为“物理提示”。
关键数据1 张
少样本学习效率
1-10步

1-10个梯度步骤1-5分钟数据即可掌握新任务。

来源:基于1-5分钟数据

行动1 张
探索方向
已生成 9 张 · 每篇精选,少而精