论文：MAD-OPD: Breaking the Ceiling in On-Policy Distillation via Multi-Agent Debate
链接：https://arxiv.org/abs/2605.01347
代码：https://github.com/chiefovoavicii/MAD-OPD
OPD（On-Policy Distillation）已然大模型后训练里的"标配动作"：学生先在自己的轨迹上生成答案，教师再沿着学生前缀逐 token 给监督。因此它相比离线蒸馏更能优化到自身参数分布内的轨迹，但也有一个绕不开的上限：如果监督只来自一个教师，学生最终会被这个教师的盲点卡住。
教师犯错，学生就会学错。工具调用里算错日期、选错 API，代码生成里走到不一致的实现分支，这些错误都会被 OPD 当成训练目标写进学生模型。到了 Agentic 场景，问题还会更麻烦：一次错误工具调用会改变环境反馈，后面的多轮对话和长程轨迹都跟着偏掉。
我们提出 MAD-OPD，就是想打破这个 single-teacher ceiling。不要让一个教师马上拍板。先让多个教师围绕学生当前状态辩论，互相挑错、互相修正，再把辩论后的共识蒸馏给学生。
Agent 训练循环
图中框架把教师之间的交互放进了 OPD 的训练循环。
学生先在当前状态 s_m 下采样动作 a_m。如果是代码生成任务，这是一次完整生成；如果是 Agentic 任务，这就是当前一轮工具调用或环境交互。主图里的橙色外环对应 OPAD（On-Policy Agentic Distillation）：环境返回 observation 后，学生进入下一步状态，教师再围绕新状态继续辩论。
MAD-OPD 从设计上就不是单轮问答方案，它面向的是多轮对话、工具调用和长程 Agent 轨迹。
在每一步，K 个教师进行 R 轮辩论：
完整辩论记录 \mathcal{H}_m^R 只给教师看，不给学生看。教师带着这份"会议纪要"去批改学生动作，学生只能通过梯度把共识学进去。
辩论结束后，我们让每个教师给出置信度，并转成权重：
最后，教师带着辩论记录 force-decode 学生动作，学生不带辩论记录。训练目标变成：
简单理解：单教师 OPD 是"一个老师直接批改"；MAD-OPD 是"几个老师先开会，把互补错误纠出来，再批改"。比如tau2-bench中的一个case，旅行工具调用里，一个教师把"下个月"算错成 10 月，但天数算对；另一个教师月份算对，却把天数算错。辩论一轮后，两个错误都被指出来，监督信号才真正打到错误 token 上。
辩论之外：长轨迹训练也要稳
Agentic 任务难蒸馏，不只是因为任务长，还因为教师和学生在某些状态上的分布会差得很远。学生走到一个偏掉的状态，教师可能认为某些 token 几乎不该出现。
此时如果直接用反向 KL，梯度里会出现类似 q(i)\log(q(i)/p(i)) 的项；当 p(i)\to 0，梯度会失控。长轨迹里，这种尖峰会被多步误差继续放大。
所以我们给出任务自适应的选择规则。对 Agentic 任务，用 JSD。我们证明：
这个界不依赖轨迹长度，也不依赖教师和学生分布是否重合。对长程 Agent 训练来说，它像一个避震器。
但代码生成又是另一回事。代码题可以有很多正确解法，但一段程序必须沿着一条一致路径写完。这里我们用反向 KL，让学生集中到主实现路径上，而不是把多个正确思路平均成一个奇怪的混合体。
实验结果也很直接：在 14B+8B -> 4B 上，只换散度，JSD 的 Agentic Avg 最高，为 25.69；反向 KL 的 Code Avg 最高，为 48.12。
Agentic + Code 双线验证：4B 学生反超 14B 教师
我们把 OPD 扩展到 Agentic 领域，在 BFCL-v4、τ²-Bench、VitaBench 这类多轮工具调用/对话式 Agent benchmark 上评测；同时也在 LiveCodeBench v6、MBPP+ 上验证代码生成能力。
最有代表性的结果来自 Qwen3 14B+8B -> 4B：
| 方法 | Agentic Avg | Code Avg | Overall Avg |
|---|---|---|---|
| Base | 18.65 | 41.50 | 27.79 |
| OPD | 23.26 | 44.41 | 31.72 |
| MT-OPD | 24.14 | 41.97 | 31.27 |
| MAD-OPD | 25.69 | 48.12 | 34.66 |
更突出的指标在 LiveCodeBench v6：14B 教师 pass@1 为 25.57，单教师 OPD 学生为 25.00，而 MAD-OPD 训练出的 4B 学生达到 29.83，反超 14B 教师 4.26 个百分点。BoN@16 下，MAD-OPD 4B 达到 43.43，而 14B 教师为 33.14。
此外我们做了充分消融，算法收益不是"多一个老师"这么简单。MT-OPD 的 Code Avg 低于单教师 OPD，因为教师分歧直接平均会伤害代码一致性；加入辩论后，Code Avg 从 41.97 提到 46.60；再加入置信度加权，最终到 48.12。两轮辩论是甜点区，三轮反而会因为上下文膨胀和噪声引入而退化。
MAD-OPD 最关键的一步，是把 OPD 的监督源从"单教师条件分布"升级成"多教师辩论后的共识分布"。单教师的错误不再直接进入学生，而是先经过其他教师的审视、修正和置信度加权。
这也是为什么 MAD-OPD 能突破单教师天花板：它不是让小模型凭空长出教师没有的能力，而是把教师池中分散的、互补的局部正确性组织成更强的训练信号。
对 OPD 来说，教师不再只是答案提供者，也成了彼此的错误检测器。