GUI-Reflection:让多模态 GUI 智能体获得反思纠错能力的训练框架

📅 直播时间:2025-07-08 20:00 🎥 观看直播

GUI-Reflection,是一个开源的,让端到端多模态GUI模型学会自我反思和纠错的自动化框架。GUI-Reflection在智能体的各个训练阶段引入 “反思与纠错”机制,这一机制贯穿预训练、监督微调和在线训练全过程,模拟了人类“犯错→反思→重试”的认知过程,使模型在面对真实环境中的不确定性时,能够更加鲁棒、灵活地应对各种突发状况,显著提升模型在执行端到端真实GUI任务时的性能。

Canvas – 779.png

7月8日晚8点,青稞Talk 第61期,南洋理工大学MMLab博士生吴鹏浩,将直播分享《GUI-Reflection:让多模态 GUI 智能体获得反思纠错能力的训练框架》。

分享嘉宾

吴鹏浩,南洋理工大学MMLab博士生,研究方向为多模态大模型,成果发表于ICLR、NeurIPS、ICML、CVPR等人工智能相关领域的国际顶级会议上。

主题提纲

GUI-Reflection:让多模态 GUI 智能体获得反思纠错能力的训练框架

1、端到端 GUI 多智能体训练范式的瓶颈
2、引入 “反思与纠错”机制 的 GUI-Reflection
- GUI预训练阶段:启发反思相关能力
- 离线监督微调阶段:自动化构建纠错轨迹
- 在线训练阶段:搭建反馈式反思回路
3、在端到端真实 GUI 任务上的性能验证及应用实践

直播时间

7月8日20:00 - 21:00

参与方式

Talk 将在青稞·知识社区上进行,扫码对暗号:" 0708 ",报名进群!