正文

在 RoboDojo 上，Qwen3.8-Flash-Next 通过直接操控机器人的方式拿到 31.39 分。这个分数，比 GPT-6 Astra 此前榜单上公开的 28.97 分更高。Qwen 以约 6.6% 的成本，跑赢 Astra 公开成绩。

一个开源、权重可以下载、单局调用成本只有 1 美元出头的模型，竟然超过了前沿闭源模型交出的成绩单。

而比起成绩，这份成绩背后的团队更关心的是：如何为之后的开源 RUA（Robot-Use Agent，即具身智能体）的训练，提供全新的可能？

这一工作来自清华大学与加州大学伯克利分校的研究团队。他们设计了一套模块化可插拔，跨环境统一的 harness：uni-robot-agent。在开源模型上的优异效果之外，模块化设计允许研究者对 RUA 的各个组件进行消融研究，跨环境统一的特性为之后 RUA 的多环境训练建立了工程基础。

对应的论文题为 Democratizing Robot-Use Agents: A Unified Harness with Open Models。通讯作者包括丁宁、 Pieter Abb​​eel、刘知远和徐梦迪​。

论文链接：https://huggingface.co/papers/2611.01560
博客链接：https://openrua.ai/uni-robot-agent
代码链接：https://github.com/Open-RUA/uni-robot-agent
项目主页：https://uni-robot-agent.com
文档链接：https://uni-robot-agent.com/docs

Astra 之后，具身智能体如何更进一步？

在包含 42 个任务的 RoboDojo 基准上，GPT-6 Astra 已经展示出零样本操作能力。这些任务覆盖泛化、精确操作、长程执行、记忆和开放词汇指令跟随。面对陌生任务，模型可以观察场景、编写代码、调用机器人工具，再根据执行反馈调整下一步动作。原本用于解决数字世界问题的能力，开始延伸到真实的抓取、移动和操作中。

但要把这条路线从演示推进到可持续的研究，仍存在三道门槛。

第一道是成本。机器人操作需要持续观察和纠错，多视角图像与交互历史被反复送入模型，一个任务可能涉及几十甚至上百次调用。少量演示可以承担，扩展到大规模实验和数据采集，成本就成为实实在在的限制。

第二道是自主性。模型权重不开源，研究者只能通过 API 使用现有能力，难以在自己的硬件上部署，也无法针对机器人交互优化模型、缓存和推理过程。实验的速度与规模，很大程度上取决于外部服务。

第三道是学习闭环。机器人每次尝试都在产生经验，但研究者无法直接用这些轨迹更新闭源模型的权重。

因此，Astra 展示出的能力也引出了下一个问题：能否让开放权重模型同样有效地使用机器人，让研究者既能运行它，也能训练它，让今天的交互成为明天的能力？ uni-robot-agent 正是向这个方向迈出的一步。

uni-robot-agent 的设计选择：
跨环境统一与模块化

机器人 Agent 的基本流程并不复杂：读任务，看图像，调用工具，观察结果，再决定下一步。模型负责决定做什么，harness 则负责让这些决定真正落到物理世界。

但看似简单的交互流程背后，涉及不同机器人的能力差异、工具接口、执行反馈和异常处理等一系列问题。让 Agent 能够操作机器人并不难，难的是构建一套统一、易用、可泛化的 harness，让不同模型都能以一致的方式与不同机器人交互。

uni-robot-agent 团队的做法可以概括成四条。

第一，跨环境统一。 uni-robot-agent 从设计之初就为训练准备，它本身就是为 agentic training 打造的底座，评测只是其中一部分。感知、运动、技能、episode 控制四类工具在仿真和真机里共用一套定义，环境差异交给各自环境的适配器。这意味着不同环境里学到的能力可以互相迁移，工程上只要维护一套工具。

第二，模块化。 整个框架更像一盒乐高：Agent 运行时、上下文策略、感知后端、动作模型、环境适配器，每一个都能单独开关、单独替换。基于这个设计，研究者一方面可以更好地进行二次开发，一方面可以更好地进行消融实验，验证各个组件对于具身 Agent 的重要性。

第三，对齐真实世界。 团队把 Agent 能拿到的信息严格限制在真机上也能拿到的范围：本体感知、机器人描述文件、固定相机的 RGB 及标定参数、任务指令。仿真器里的精确深度、物体 CAD 模型、隐藏标注一概不给，任务执行过程中的分数也不回传给模型。技能也是通用的，不为某个基准任务定制。没有资源上的 hack，也没有信息上的 hack。

第四，并行加速。 耗时的物理动作可以丢到后台，工具立刻返回一个任务句柄，模型接着准备不依赖这一步结果的事情。共用同一资源的动作按先进先出排队，计划变了还能撤销没开始的动作。机械臂在动的时候，模型在想下一步。

uni-robot-agent 实测：
仿真与真机结果

为了验证 harness 的泛化性，团队在仿真和真机上都做了评测。

在仿真环境中， 相 Qwen3.8-Flash-Next 加上 uni-robot-agent 的组合取得了 31.39 分，超过了 baseline 中 GaP 的 21.01 分，也超过了使用 astra 加上 roboprobe 的 28.97 分，验证了开源模型完成具身任务的能力。

同时 DeepSeek-V4.1-Flash 取得了 27.11 分，GPT-6 Astra 取得了 51.90 分，说明了 uni-robot-agent 并不是针对 Qwen 专门优化的，而是一套可以泛化到任意模型的 harness。

在真机世界里，团队在一台双臂夹爪平台上搭了一套真机评测RealEval，19个任务，分为空间理解、物体泛化、指
令遵循、组合泛化和未见任务五个维度，每个维度20分。Qwen在一条评测任务的真机数据都没见过的情况下，拿
到53.50分，高于在该环境下进行过微调的 π0.5 的47.75。而Astra在这套harness 下更是达到了80.50的高分。

这套 harness 的适用范围也不止于平行夹爪。团队把它接到了 Franka 机械臂与 Sharpa 灵巧手上，仅需简单扩展灵巧手相关工具，uni-robot-agent + Astra 就完成了抓取小鸟玩偶、按下绿色按钮、把苹果放进盘子这类灵巧操作。

视频｜同一套 harness 已接入 Franka 机械臂和 Sharpa 灵巧手，16 倍速播放。

设计取舍与能力边界：
模型需要什么，又不依赖什么？

没有提供深度，模型还能找到物体吗？

模型能在图像中认出物体，却未必知道机器人该向哪里移动。连接视觉理解与物理动作，需要建立图像坐标和机器人坐标之间的关系。

uni-robot-agent 为模型提供相机内外参，帮助它完成这种对应。这些信息可以通过实际相机与机器人的标定获得，无须读取仿真器中的深度信息，也不依赖针对任务编写的定位捷径，在真机环境下也容易获取。模型可以利用这些信息通过三角标定的方式建立空间坐标，只是相比于深度标定，模型需要结合不同视角和几何关系进行推断。

但如果定位可以更直接，效果会好多少？反过来，如果连标定信息都没有，模型又能做到什么程度？

团队比较了三种设置：提供深度与相机标定、只提供相机标定，以及仅提供 RGB 图像。

有深度时，工具可以结合相机内外参，将目标像素直接转换成三维坐标。移除深度后，Astra 的得分仅从 55.83 变为 55.04，几乎不受影响；Qwen 则从 35.89 降至 31.39。

此时，模型需要在不同视角中找到对应点，通过三角测量恢复目标位置。这一差异表明，Astra 更善于利用已知的相机几何建立空间定位，而 Qwen 在跨视角对应与几何推断上仍有差距，更依赖直接提供的深度信息。

进一步移除相机内外参，考验就从“利用已知几何定位”，变成了“自行推断视觉观察与物理动作之间的空间关系”，模型不仅要判断物体在哪里，还要理解图像中的方向和距离意味着机器人该如何移动。

在这一设置下，Qwen 的得分降至 9.13，Astra 仍达到 31.29。这更直接地体现了模型自身的空间推理能力，也说明了标定信息对当前开源模型的重要性：它为视觉与动作搭起了一座桥，帮助空间能力尚不充分的模型完成有效操作。

没有技能库，性能会不会明显下降？

技能库可以复用操作经验，但也容易让人疑惑：系统是否提前为每道题准备了解法？

为此，团队同时关闭了 Qwen 对机器人技能库的访问和技能写入能力，保留任务说明、环境描述与基础机器人工具。移除技能后，得分从 31.39 变为 30.31，保留 96.6%；成功率仅相差 0.42 个百分点。

这并不意味着技能模块没有价值。它为经验复用和后续扩展提供了接口，而当前结果说明：uni-robot-agent 的整体表现，并不过度依赖技能库提供的任务知识。

两组实验共同指向了这套系统的设计思路：提供有助于推理的信息，让工具可靠地执行动作、返回有效反馈，把具体问题留给模型解决。 相机标定和机器人本体描述帮助模型建立空间关系，可靠的运动工具与执行反馈则支持它行动、检查和纠错。这也是 uni-robot-agent 希望为开源模型搭建的基础。

在开源模型上获得了令人兴奋的分数后，团队并没有就此停留，而是开始思考，开源模型究竟需要怎样的能力才能做好具身任务？

分数之外：开源模型究竟需要训练出怎样的能力

为了研究模型完成具身任务需要哪些能力，团队在 RoboDojo 上评测了 Qwen、GPT、DeepSeek 等不同系列、代际和规模的模型，发现了一个值得注意的反差：Qwen3.8-27B 已经能够完成部分任务，而参数量更大的 Qwen3.7 Plus，在此次评测中仍未取得任务成功。

类似的反差也出现在模型代际之间。GPT-5.6 Sol 已经展现出一定的机器人操作能力，而部分更新的模型依然难以完成任务。模型的参数量和发布时间，都不足以单独解释它在机器人任务上的表现。

团队进一步检查了模型的交互轨迹。机器人任务会把一个看似简单的指令拆成连续的考验：看清场景、找到目标、算出动作，再判断这个动作在物理世界中是否可行。任何一环出错，都可能让后续操作偏离目标。失败主要集中在四个方面：

• 看懂场景。 把数字“0”认成“9”，或把倒扣的杯子当成正放，都会让操作从一开始就走错方向。在较早的 Qwen Flash 和 Plus 模型中，这类未能纠正的视觉错误出现在约 12.2%–23.8% 的试验中。
• 找准位置。 认出物体，还要确定它在哪里。模型需要在不同视角中找到同一个物理特征，才能利用相机几何恢复空间位置。即使是这项表现最好的 GPT-6.1 Sol，相关调用仍有 31.5% 因对应点不一致、重投影误差过大而标定失败。
• 算对几何。 从图像到机器人动作，需要坐标变换、姿态计算和代码执行。较早的 Qwen Flash 和 Plus 模型在 47.3%–81.8% 的几何计算中出现错误，而 Qwen3.8-Flash 的这一比例降至 8.2%，DeepSeek 则为 1.5%。
• 理解怎样操作才合理。 位置算对了，也不代表抓取就能成功。手腕朝向是否合适、夹爪能否接近目标、双臂如何配合，都需要模型理解动作的物理含义。

除了结合轨迹进行分析，这些能力是否也能从通用模型评测中看出端倪？团队将六个模型的 RoboDojo 表现与具身推理、多模态理解、视觉定位和代码生成基准进行比较，发现四类指标均呈正相关，其中具身推理和多模态理解的关联更强。

这虽不足以证明某项能力直接带来了多少提升，却为后续训练提供了明确线索：提升机器人能力，除了学习动作本身，还可以有针对性地训练模型如何观察、定位、计算和判断。 机器人交互中留下的失败轨迹，也因此成为了定位能力短板、构造训练任务的依据。

开源模型的具身操作能力为什么重要

开源模型也能做好机器人操作了。 过去，大家谈到 RUA，往往会想到那些能力最强的闭源前沿模型。但现在，一个参数规模更小、使用成本更低、还可以本地部署的开源模型，也已经能在不少有挑战的操作任务上取得不错的表现。这意味着，RUA 的研究不必再局限于少数闭源模型，更多研究团队也可以基于开源模型搭建自己的系统、开展实验，探索新的方向。

研究成本降到了更容易接受的水平。 在 42 局的成本分析中，Qwen 每局的估算 API 成本为 1.09 美元，Astra 则为 21.29 美元。如果跑完 252 局的完整评测，前者不到 300 美元，后者则超过 5,000 美元。

更值得期待的是，模型可以在真实交互中不断积累经验。 权重开放后，研究者不仅可以把模型部署在本地，减少对外部 API 的依赖，也可以利用机器人交互过程中积累的轨迹继续训练模型。机器人每一次尝试、成功和失败，都有机会成为下一轮训练的数据，反过来提升模型的能力。

这样，Robot Agent 就有机会形成一个持续改进的循环：与机器人交互、积累经验、训练模型，再把训练后的模型放回机器人上继续尝试。这也是开放权重带来的一个更长远的研究空间。

团队给这套东西找了个参照：编码 Agent 领域的 mini-swe-agent。它的目标是一个简单、通用、谁都能拿来改的起点。统一的接口和结构化的记录，让不同环境里的交互经验可以按同一格式收集。当前实现已经支持导出 Codex 的交互轨迹，这些轨迹正是 SFT 和强化学习的原料。

拆掉那道“只有闭源模型玩得起”的门槛，是 uni-robot-agent 最大的意义。基于 uni-robot-agent，让机器人经验通过训练持续回流形成学习闭环的路，还有很大的探索空间，值得期待。

关于 OpenRUA

uni-robot-agent 背后是一个叫 OpenRUA 的研究项目。由一些来自顶尖高校和前沿实验室的研究员发起，研究背景覆盖具身智能、语言模型。项目的目标是 building open foundations for agents that act in the physical world。而 uni-robot-agent 是他们发布的第一个开源成果。

团队主页：https://openrua.ai/