随着具身智越来越多地进入生产环境，策略进化的核心变成对混杂数据的高效利用。

这正是离线强化学习发挥的重要场景，但效果严重依赖于帧级的好坏标注——逐帧分辨哪些时刻在推进任务，哪些在停滞或倒退。但靠人类逐帧标注机器人数据非常耗费人力、难以规模化。

为了解决这个问题，清华于超老师团队与正行创新（Striding AI）联合提出STEAM算法，一套面向真实世界机器人学习的、无需人工标注的帧级优势估计框架。

超越Pi*0.6的RECAP算法！正行创新 x 清华团队提出自监督帧级别优势建模算法STEAM

论文链接：https://arxiv.org/abs/2606.29834  
项目主页：https://rlinf.github.io/steam/  
开源代码：https://rlinf.readthedocs.io/en/latest/rst_source/examples/embodied/steam.html

针对真实机器人数据中常见的停顿、纠错、失败和次优行为混杂问题，STEAM 利用专家轨迹中帧对之间的归一化时间偏移作为自监督信号，训练多个 temporal-offset 预测器，并将其预测结果转化为衡量局部任务进展的优势分数。

为提高对混合质量 rollout 数据的鲁棒性，STEAM 采用集成模型中的最小优势值进行保守评分，从而更可靠地识别有效推进、失败回退与恢复过程。

在双臂毛巾折叠、薯片结账、可乐补货和单臂抓取放置等真实机器人任务中，STEAM 能够有效发现低质量片段，并在结合 CFGRL 后显著提升策略成功率，相较基线方法分别带来 59%、54.3%、23% 和 16.2% 的性能提升。

7月21日（周二）晚8点​，青稞Talk 第138期，STEAM 一作、北京中关村学院与中科院自动化所联培的博士生刘志豪，将直播分享《STEAM：面向真实世界机器人学习的、无需人工标注的帧级优势估计框架》。

青稞介绍

刘志豪，目前是北京中关村学院与中科院自动化所联培的博士生，师从清华于超老师与中科院自动化所范国梁老师。研究方向为具身智能与多智能体强化学习。

主题提纲

STEAM：面向真实世界机器人学习的、无需人工标注的帧级优势估计框架

1、真实机器人离线 RL 训练的痛点
2、现有主流方案对比与现存缺陷
3、STEAM 整体框架与核心原理
4、真实机器人实验验证
5、AMA （Ask Me Anything）环节

直播时间

7月21日（周二）20:00 - 21:00