公告
🔥提供代码、复杂推理、多模态与智能体任务等领域的高质量原创任务数据,可添加:aiFreeCode 咨询
  1. 首页
  2. 青稞Talk
  3. 当 VLA 一次都做不对:语言如何引导真实世界中的强化学习探索?

当 VLA 一次都做不对:语言如何引导真实世界中的强化学习探索?

  • 0 次阅读
  • 0 条评论

强化学习的核心在于“从尝试中学习”,但当模型始终无法成功、每次获得的奖励都为零时,学习便难以开始。

这一问题在真实世界的机器人强化学习中尤为突出:每一次交互都需要付出时间和成本,难以进行大规模试错;而简单地增加动作随机性,往往只会让机器人重复相似的失败。

如何让机器人在有限的真实世界交互中,从零成功率开始学会新任务,是实现机器人自主学习的关键挑战。

PDE(Prompt-Driven Exploration,语言驱动探索)是由 MIT Improbable AI Lab 提出的一种利用语言引导机器人探索新行为的框架。它将语言作为可调整的探索空间,通过视觉语言模型(VLM)观察机器人执行视频、分析行为模式,并动态改写语言提示,引导视觉-语言-动作模型(VLA)尝试不同的行为策略。

论文:Prompt-Driven Exploration: Language as an Exploration Space for VLA Reinforcement Learning
链接:https://arxiv.org/abs/2607.08837
项目主页:https://xinyunsunshine.github.io/prompt-rl

其核心在于将失败的执行过程转化为下一步探索的线索,再结合强化学习不断优化行为,使机器人能够突破已有策略,在有限的交互预算下逐步掌握新任务。

11月21日(周六)上午10点,青稞Talk 第169期,青稞社区邀请到斯坦福大学博士生蒋昕昀,她将从真实世界机器人强化学习面临的探索与数据效率挑战出发,介绍 PDE 的核心设计与实现方法,并分享在机器人操作与推理任务上的实验结果,展示语言如何帮助模型突破零奖励困境,显著提高强化学习的探索效率与数据利用效率。

分享内容

当 VLA 一次都做不对:语言如何引导真实世界中的强化学习探索?

1、真实世界机器人强化学习面临的探索与数据效率挑战
2、把语言变成探索空间:PDE 的核心设计与实现方法
3、VLM 如何从执行视频中发现下一步探索线索?
4、从改写 Prompt 到策略进化:语言驱动的探索闭环
5、从仿真到真机、再到 AIME:效果与边界
6、AMA(Ask Me Anything)环节

嘉宾介绍

蒋昕昀,斯坦福大学计算机科学系一年级博士生,Knight-Hennessy Scholars(奈特-汉尼斯学者)奖学金获得者。本科及硕士均毕业于 MIT,物理与电气工程及计算机科学(EECS)双学位。曾获 CoRL Oral 和 ICRA Workshop 最佳论文提名。代表性工作包括 Streaming Flow Policy 和 Prompt-Driven Exploration(PDE),相关成果发表于 CoRL、ICRA、ICLR、NeurIPS 等会议。

直播时间

11月21日(周六)10:00 - 11:00

阅读 -- 次

讨论

0 条评论

登录后即可参与讨论、向作者提问

目录
正在直播 B 站

视频号直播二维码

用微信扫一扫,在视频号观看直播