公告
🔥提供代码、复杂推理、多模态与智能体任务等领域的高质量原创任务数据,可添加:aiFreeCode 咨询
  1. 首页
  2. 精选文章
  3. 当 RL 训练出故障,AI Agent真能自己修复吗?面向 RL 诊断与修复的智能体基准 AutoRLBench

当 RL 训练出故障,AI Agent真能自己修复吗?面向 RL 诊断与修复的智能体基准 AutoRLBench

  • 6 次阅读
  • 0 条评论

千里之堤,溃于蚁穴
——《韩非子·喻老》

✨ AutoRLBench把真实的 RL 训练事故整理成一套智能体基准:考察 agent 能否发现训练失败、定位根因,并真正修复问题。

💻 GitHub:https://github.com/Thinking-Space/AutoRLBench
📖 博客全文:https://thinking-space.github.io/AutoRLBench/page/blog.html

✨ 当前版本包含 34 个诊断任务、17 个修复任务,覆盖 configuration、reward、data、environment、algorithm、infrastructure 六大故障类别。

✨ 首轮结果显示,智能体通常能发现“训练出了问题”,但在解释根因、完成可靠修复方面仍有明显不足。

从 AI for AI 回到 RL 失败现场

AI for AI 不应只看一个端到端总分,还需要回答:智能体能否发现异常、解释原因、采取正确行动,并验证修改是否有效?

RL 训练正是检验这些能力的典型场景。训练可能没有报错,但会因为数据分布、奖励实现、算法逻辑、外部环境或基础设施问题而悄悄失效。

AutoRLBench关注的问题是:

当 RL 训练失败时,AI agent 能否找到根因,并可靠地修复它?

任务格式:从诊断到修复

每个任务都尽量保留真实事故现场,包括源代码、配置、日志、评估记录和运行环境,并配有隐藏的参考答案。

任务分为两个层级:

  • Diagnosis:判断训练是否健康,定位具体根因,并提供证据;
  • Repair:修改 workspace,系统在干净环境中重新运行训练,并根据最终指标判定修复是否有效。

更难:故障不会直接报错

AutoRLBench重点收录隐蔽故障,例如 reward 看似上涨但模型学到了错误目标,训练曲线正常但日志暴露数据异常,或修复早期有效、训练后期再次崩溃。

这些任务要求 agent 联合分析代码、配置、日志和指标,而不能只看一条曲线。

更多样:覆盖完整 RL pipeline

覆盖六类RL故障:

  • Configuration:参数或组件协议错配;
  • Reward:奖励信号或实现异常;
  • Data:训练、验证和数据加载问题;
  • Environment:外部环境和工具反馈异常;
  • Algorithm:采样与策略更新逻辑缺陷;
  • Infrastructure:训练、推理和系统协同故障。

覆盖更多应用场景:

  • 数学:考察数学推理、答案验证和奖励设计中的数据与逻辑故障。

  • 代码:覆盖代码生成、执行、测试和训练脚本中的实现问题。

  • Agent:

    • 工具调用:检查工具选择、参数传递和返回结果处理是否正确;
    • 软件工程:覆盖代码修改、依赖管理、测试和完整执行路径;
    • GUI:评估智能体在视觉界面中的操作、状态判断和交互反馈。

初步结果:发现失败比解释根因容易

下面的结果来自当前版本的初步评测快照,不是完整评测,也不是最终结论。当前测试包含 10 个前沿模型、340 条诊断轨迹和 170 条修复轨迹,最高整体通过率为 37.3%。

其中,83.6% 的轨迹正确判断训练状态不健康,但只有 27.5% 找到了正确根因。智能体更容易发现“出问题了”,却很难回答“为什么出问题”。

同一条近零 reward 曲线,可能来自数据难度不匹配、标签错误、解析器失效或 reward worker 失败等不同原因。

有些 reward 曲线看起来健康,但 masked-token fraction 已经快速升高。只有结合日志和执行机制,才能发现隐藏故障。

修复也不能只看短期反弹。部分补丁早期改善明显,完整训练结束后却再次下降。

项目仍在进行,欢迎贡献真实案例

AutoRLBench仍在持续更新。我们希望收集更多没有显式报错、涉及多个组件、需要长链条推理,或只有训练后期才暴露的 RL 故障。

如果你手上有一段曾经跑崩、排查困难或修复耗时很长的训练,欢迎提交代码、配置、日志和已有修复。真实、可复现的失败案例,都可能成为帮助社区评估智能体能力的下一道标准题。

阅读 -- 次

讨论

0 条评论

登录后即可参与讨论、向作者提问

目录
正在直播 B 站

视频号直播二维码

用微信扫一扫,在视频号观看直播