具身智能真正的壁垒在数据。
如果类比大模型的发展,大家都会谈 Scaling Law:模型、算力和数据共同决定模型能力。在机器人领域,也已经有研究观察到了类似的 scaling 趋势——随着数据、模型规模和算力增加,机器人策略的性能也会持续提升。
但问题在于,这三件事情的可扩展性并不对称。
模型架构可以很快被学习和迭代,通用算力原则上也可以买到;真正很难在短时间内复制的,是数据。
我觉得可以从三个角度理解这件事。
第一,数量:机器人数据不是天然存在的,而是采集出来的
LLM 有一个非常幸运的前提:在人们开始训练大模型以前,人类已经花了几十年建设互联网。
海量文本、图片、视频本来就在那里。模型要解决的核心问题,是怎么把这些已经存在的信息变成训练数据。
但机器人却没有这样的时代红利。
尤其是能够用于训练通用机器人策略的高质量真机数据,并没有这样一个天然存在了几十年的“互联网”。
机器人想学习拿起一个杯子,往往意味着真实世界里真的需要有一台机器人,面对一个杯子,把这个动作做一遍,同时记录相机画面、机器人状态和动作等信息。
而且,“做过一次”还远远不够。
杯子的材质、形状、位置不同,桌子的高度不同,光照不同,相机角度不同,机器人本体不同,最终对应的都是不同的数据分布。
所以具身数据真正重要的不是一个简单的“小时数”,而是:
这些小时覆盖了多少本体、多少任务、多少物体、多少环境,以及多少失败和恢复的情况。
可以看几个数据。
Open X-Embodiment 联合了 20 多个研究机构,汇集了 22 种机器人本体,才形成超过 100 万条真实机器人轨迹;DROID 花了一年时间,由 50 名数据采集者在数百个真实场景中采集,最终得到约 350 小时、7.6 万条示范轨迹。
这些是遥操作数据,近一年来,无本体数据(UMI和Ego)因为采集起来更为方便,逐渐成为预训练的主流数据来源,但仍然需要机构投入大量时间和人力才能把规模继续往上推。
Generalist AI从成立到发布第一款模型Gen-0,用了大约1年半,启用了1000多套UMI数采设备,从数千个家庭、仓库和工作场所采集了27万小时的数据;然后又用了半年将这一数量推到50万小时。
另一家有代表性的公司是Dyna,他们花了1年时间,通过自采和采购的方式积累了100 万小时的纯人类操作数据。
这已经是巨大的进步,但也反过来说明了一件事:
机器人世界还远远没有形成类似互联网的数据基础设施,每一条数据背后都是采集人力和时间的投入。
第二,质量:机器人“完成了任务”,不代表这就是一条好数据
这是我觉得具身数据比很多人想象中更难的一点。
目前高质量真机数据很大一部分仍然来自人类遥操。但遥操数据本身并不天然等于高质量数据。
首先是设备侧。
相机、编码器、力传感器等数据是否准确,多模态数据之间的时间同步是否稳定,设备状态、标定误差、通信延迟有没有发生变化,都会直接影响最终记录下来的轨迹。
其次是人。
人通过遥操设备控制机器人,与人自己伸手完成一个动作并不是一回事。
不同数采员有不同习惯;即使任务最后成功了,中间也可能出现犹豫、停顿、重复调整;以及数采员为了适应遥操系统,时常做出别扭但其实不应该被机器人模仿的动作。
所以这里有一个特别重要的问题:
什么叫“高质量数据”?
成功,可能只是最粗粒度的一层标签。
一条成功轨迹里,可能同时存在很好的动作和很差的动作。如果我们把整条轨迹不加区分地交给模型,相当于告诉机器人:好的学,坏的也学。
这也是为什么我认为,下一阶段数据工程的重点不只是“采更多”,而是提高单位数据的信息密度。
我们最近做 STEAM,其实也是在解决这个问题。
STEAM 希望在不依赖逐帧人工标注和手工 reward 的情况下,学习一条机器人轨迹中每个阶段的局部进展信号,从而判断机器人是在有效向目标推进,还是在停滞、失败,以及人工介入以后是否重新恢复。
换句话说,以前我们的数据单位可能是“一条 trajectory”;未来更重要的问题会变成:
这一条 trajectory 里面,到底有多少是真正值得模型学习的东西?
我觉得这个变化会非常重要。
因为当数据采集越来越多之后,“有数据”和“能把数据用好”,会变成完全不同的两种能力。这一现象,在UMI和Ego这类噪声更大、质量更加参差不齐的数据上会更加明显,如何取其精华、去其糟粕将成为决定模型性能的关键要素。
近期发布的多款具身基模也体现了这一变化,大家愈发重视数据管线的设计,例如阿里发布的Qwen-RoboManip采用了非常严苛的数据筛选和对齐策略,显著提升了模型性能,京东的JoyAI-RA 0.5在此基础上进一步考虑数据多样性,将低质量的重复操作数据剔除出去,转而补充更多未覆盖的操作数据,确保模型学到更多的知识。
第三,成本:具身数据是一种非常“重”的数据
文本数据可以复制,视频可以下载。
但机器人数据背后对应的是一个物理生产过程。
要采一小时真实机器人数据,背后至少要有机器人本体、传感器、遥操设备、操作员、场地、物料,以及维护和调试这些设备的人。
如果进入工厂、商超、家庭等真实场景,成本还会进一步提高。
而且,采集按钮按下去只是数据成本的开始,不是结束,因为采集之后的传输、清洗、治理和存储比采集本身更耗钱。
举一个很粗略的账。
假设未来一家企业希望积累 100 万小时真实数据,即使把综合采集和管理成本压到平均 200 元/小时,仅这一项支出就是 2 亿元。
数量、质量和成本三个因素决定了具身数据的差距很难靠短期投入迅速追平,真正高质量、大规模、足够多样的机器人数据,只能靠时间一点点积累。而在一个仍然遵循 Scaling Law、能力持续受益于数据规模增长的领域里,这种无法被快速复制的积累,本身就是壁垒。
作者:于超,清华大学深圳国际研究生院助理教授
原文:https://www.zhihu.com/question/2072726754230101239/answer/2074508922489141235