同一张桌面,同一句“把杯子放进盒子”。
机器人可能刚靠近,也可能已经抓住。画面差不太多,指令完全一样,但接下来那几秒该做什么,是两回事。
过去做过上千遍的事,怎么在这一刻被翻出来?这是个检索问题,只不过要检索的不是文档,是执行记录:一段段第一人称视频,和对应的动作。

来自 NVIDIA、MIT、加州大学伯克利分校等机构的团队提出 Robota-Embed:把视觉、语言和原生动作编码到同一个嵌入里,用当前状态去检索“接下来四秒”的视频和动作。检索出来的结果,可以直接当策略的上下文,也可以长成一份任务记忆。
论文:Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution
链接:https://arxiv.org/abs/2610.19495
项目页:https://robota-ai.github.io/robota-embed/
检索键里,动作比画面更重要
常规的做法是把当前画面和指令当检索键,去相似视频里找参考。
问题是,画面和指令都太粗。同一个场景里,“接近”“抓住”“撤离”可能是同一句话、同一张图,机器人却处在完全不同的阶段。
Robota-Embed 把检索键换成三模态:当前帧(外加裁出的交互区域)、指令,以及此刻正在执行的原生动作。候选那边也一样,是“接下来四秒”的视频加动作。训练时拿记录里的未来段做正样本,让“此刻”和“接下来”对齐。
反直觉的结果出现在消融里。
受控重训时,把动作从输入里去掉,clip R@1 从 78.7% 掉到 59.8%,少了 18.9 个点;而把视觉去掉,只掉了 1.9 个点。推理时从 query 里抽走动作,四源平均 R@1 从 47.33% 降到 20.08%,抽走视觉是 23.00%。
动作不是附属信息,它就是检索键的一部分。

图:左边是一个联合 VLA 嵌入,右边是它支持的两种用法;中间是模态贡献与检索基准。来源:arXiv:2610.19495
把“此刻”和“接下来四秒”放进同一个空间
做法不复杂,但每一层都对着“接下来会发生什么”。
query 和 target 共用一套 VLA Transformer,各自带一个适配器,最后过嵌入头(时间维取均值、LN+线性、L2 归一化),用余弦相似度排序。
训练目标分三组。
第一组是预测式检索对齐:当前段对齐记录的下一段视频和动作,让 embedding 学会“此刻之后是这段”。
第二组是多模态 grounding 与区分:把视觉、语言、动作做模态替换,构造难负样本,逼模型分清“看起来像”和“真的会接着发生”。
第三组是表示正则:center 加 spread,防止所有嵌入挤在一起。

图:左上是 query 与未来 target 的编码路径,下面三块分别是对齐、区分与表示正则。来源:arXiv:2610.19495
一百六十九万条锚点,四千个问题
训练数据从人、机器人、仿真三类记录里来。处理上先按 episode 切分,再采锚点;交互片段要定位并校验,视频和动作成对保留。清洗完是 1,695,684 条锚点。
评测用 Robota-Embed-Bench:4,000 条 query,共享一个 8,000 条的 gallery。
结果是 clip 级 R@1 47.33%、episode 级 81.77%;比不带动作的 Gemini Embedding 2 分别高 22.09 和 33.47 个百分点。
检索分数好看,只是一半。真正要回答的是:查到的经验,能不能让策略变强。
检索出来,怎么变成策略的上下文
Embed2ICL 给了两条路。
一条免训练:拿 DROID 的 top-k 视频做重排,挑出参考视频,去预热 DreamZero 的视觉 KV cache,策略本身冻结。DROID-Sim 上的成功率从 47.0% 到 56.3%。
一条要训练:从 EgoDex 取 top-1,把参考片的 Context Tokens 缓存好,训练时通过原生 cross-attention 注入,微调 Fast-WAM。LIBERO 困难子集从 86.4% 到 92.8%。
真机上,任务进度同样有提升。

图:上边是免训练的“重排 + 视觉缓存预热”,下边是训练式的“Context Tokens + 原生 cross-attn”。来源:arXiv:2610.19495
让记忆自己长:冻结的 GPT-6 Astra 也会进步
Embed2Evolve 把检索推到“记忆管理”。
开发阶段是个循环:收集 rollout(成功和失败都要)→ 索引进记忆 → 演化上下文配方(记忆 M 和配方 θ)→ 用成功率、控制 tick、执行时间来评测和选择 → 冻结出 M* 和 θ*。
部署阶段,GPT-6 Astra 和嵌入权重都不动。当前 query 先检索出过去的上下文,再交给 GPT-6 Astra 出末端位姿,固定 IK 与控制器执行。
五个 ManiSkill 任务:68% 成功率,对比直接用的 24%、以及同协议下用 Omni-Embed-Nemotron-3B 进化出来的 harness 33%;相比后者,每次测试 rollout 的策略 token 少约 79.5%。

图:上半部分是开发循环(收集、索引、演化、评测、冻结),下半部分是冻结后的部署路径。来源:arXiv:2610.19495
这套东西的边界
检索的上限取决于库里有什么。gallery 的覆盖和构成,直接决定能查到什么。
动作接口是第二道坎:不同本体的动作维度、频率、归一化和 domain 标识都不一样,跨本体时要做对齐。
真机评估目前还是小规模,离“什么机器人都能用”有距离。
更根本的一点:它是表示与检索层,不是策略,也不是控制器。检索让策略看到对的上下文,但动作怎么出、控得稳不稳,还是策略和控制器的事。
对机器人的“经验”来说,检索键里带不带动作,可能就是“有记忆”和“没记忆”的区别。

11月24日(周二)晚8点,青稞Talk 第170期,青稞社区邀请到 Robota-Embed 共同一作、清华大学交叉信息研究院博士生刘昀泽,分享《让机器人检索物理经验:统一视觉、语言与动作的 Robota-Embed》。
嘉宾介绍
刘昀泽,清华大学交叉信息研究院博士五年级,师从弋力教授,目前在 NVIDIA Research 从事研究实习。研究聚焦物理智能体、多模态表示学习与物理经验检索,探索具身系统如何利用交互经验进行上下文适应与持续改进。代表工作包括 HOI4D(CVPR 2022)、MAP(CVPR 2025)、OmniRetriever(EMNLP 2026 Oral)和 TupleInfoNCE(ICCV 2021)。
分享内容
让机器人检索物理经验:统一视觉、语言与动作的 Robota-Embed
1、从模仿学习到经验驱动,机器人为什么需要物理经验?
2、R打通当前状态到未来动作,构建 Robota-Embed 统一检索空间
3、不止于跨模态对齐:预测式检索与多目标协同训练
4、四源数据检验检索能力:关键指标、动作贡献与消融分析
5、如何将检索经验用于策略条件化和上下文演化
6、探讨适用边界与未来方向 & AMA(Ask Me Anything)环节
直播时间
11月24日(周二)20:00 - 21:00
阅读 -- 次
讨论
0 条评论登录后即可参与讨论、向作者提问
登录 / 注册