GUI-Reflection，是一个开源的，让端到端多模态GUI模型学会自我反思和纠错的自动化框架。GUI-Reflection在智能体的各个训练阶段引入 “反思与纠错”机制，这一机制贯穿预训练、监督微调和在线训练全过程，模拟了人类“犯错→反思→重试”的认知过程，使模型在面对真实环境中的不确定性时，能够更加鲁棒、灵活地应对各种突发状况，显著提升模型在执行端到端真实GUI任务时的性能。

7月8日晚8点，青稞Talk 第61期，南洋理工大学MMLab博士生吴鹏浩，将直播分享《GUI-Reflection：让多模态 GUI 智能体获得反思纠错能力的训练框架》。

分享嘉宾

吴鹏浩，南洋理工大学MMLab博士生，研究方向为多模态大模型，成果发表于ICLR、NeurIPS、ICML、CVPR等人工智能相关领域的国际顶级会议上。

主题提纲

GUI-Reflection：让多模态 GUI 智能体获得反思纠错能力的训练框架

1、端到端 GUI 多智能体训练范式的瓶颈
2、引入 “反思与纠错”机制 的 GUI-Reflection
- GUI预训练阶段：启发反思相关能力
- 离线监督微调阶段：自动化构建纠错轨迹
- 在线训练阶段：搭建反馈式反思回路
3、在端到端真实 GUI 任务上的性能验证及应用实践

直播时间

7月8日20:00 - 21:00

参与方式

Talk 将在青稞·知识社区上进行，扫码对暗号：" 0708 "，报名进群！