强化学习的核心在于“从尝试中学习”,但当模型始终无法成功、每次获得的奖励都为零时,学习便难以开始。

这一问题在真实世界的机器人强化学习中尤为突出:每一次交互都需要付出时间和成本,难以进行大规模试错;而简单地增加动作随机性,往往只会让机器人重复相似的失败。

如何让机器人在有限的真实世界交互中,从零成功率开始学会新任务,是实现机器人自主学习的关键挑战。
PDE(Prompt-Driven Exploration,语言驱动探索)是由 MIT Improbable AI Lab 提出的一种利用语言引导机器人探索新行为的框架。它将语言作为可调整的探索空间,通过视觉语言模型(VLM)观察机器人执行视频、分析行为模式,并动态改写语言提示,引导视觉-语言-动作模型(VLA)尝试不同的行为策略。
论文:Prompt-Driven Exploration: Language as an Exploration Space for VLA Reinforcement Learning
链接:https://arxiv.org/abs/2607.08837
项目主页:https://xinyunsunshine.github.io/prompt-rl
其核心在于将失败的执行过程转化为下一步探索的线索,再结合强化学习不断优化行为,使机器人能够突破已有策略,在有限的交互预算下逐步掌握新任务。
11月21日(周六)上午10点,青稞Talk 第169期,青稞社区邀请到斯坦福大学博士生蒋昕昀,她将从真实世界机器人强化学习面临的探索与数据效率挑战出发,介绍 PDE 的核心设计与实现方法,并分享在机器人操作与推理任务上的实验结果,展示语言如何帮助模型突破零奖励困境,显著提高强化学习的探索效率与数据利用效率。
分享内容
当 VLA 一次都做不对:语言如何引导真实世界中的强化学习探索?
1、真实世界机器人强化学习面临的探索与数据效率挑战
2、把语言变成探索空间:PDE 的核心设计与实现方法
3、VLM 如何从执行视频中发现下一步探索线索?
4、从改写 Prompt 到策略进化:语言驱动的探索闭环
5、从仿真到真机、再到 AIME:效果与边界
6、AMA(Ask Me Anything)环节
嘉宾介绍
蒋昕昀,斯坦福大学计算机科学系一年级博士生,Knight-Hennessy Scholars(奈特-汉尼斯学者)奖学金获得者。本科及硕士均毕业于 MIT,物理与电气工程及计算机科学(EECS)双学位。曾获 CoRL Oral 和 ICRA Workshop 最佳论文提名。代表性工作包括 Streaming Flow Policy 和 Prompt-Driven Exploration(PDE),相关成果发表于 CoRL、ICRA、ICLR、NeurIPS 等会议。
直播时间
11月21日(周六)10:00 - 11:00
阅读 -- 次
讨论
0 条评论登录后即可参与讨论、向作者提问
登录 / 注册