技能不可靠，Agent 该信谁？中科院自动化所最新提出 UCOB：让大模型在交互中筛选、内化并演化技能

论文： UCOB: Learning to Utilize and Evolve Agentic Skills via Credit-Aware On-Policy Bidirectional Self-Distillation
链接： https://arxiv.org/abs/2606.29502
项目链接： https://github.com/TU2021/UCOB

研究背景

在复杂的长程交互任务中，大语言模型智能体往往需要不断观察环境、选择动作、接收反馈，并在多轮交互后完成最终目标。与普通问答任务相比，这类 agentic task 面临更加困难的训练瓶颈：奖励信号稀疏、错误动作会在长轨迹中累积，并且很难判断到底是哪一步决策导致了最终失败。

一种自然的解决思路是引入技能记忆（skill memory）。智能体可以从过去的成功或失败轨迹中反思出可复用经验，并在未来遇到相似任务或状态时检索这些技能作为额外上下文。已有工作表明，技能记忆能够提升探索效率，也能够帮助智能体在长程任务中复用已有经验。

然而，当技能被用于训练时，一个更关键的问题随之出现：检索到的技能真的总是可靠吗？

技能并不是万能答案。一个技能可能在某个状态下帮助模型做出正确动作，但换到另一个状态后，可能因为任务细节不同、环境观察不同，或者技能本身过于泛化，反而误导模型。因此，如果训练方法默认“带技能的 prompt 一定更好”，并把 skill-conditioned prompt 固定当作 privileged teacher，就可能把错误技能行为也蒸馏进模型。

基于这一问题，我们提出一个核心视角：智能体不应该只是学会调用技能，而应该先学会判断技能、纠正技能，再把真正有用的技能内化并反哺到技能记忆中。

图1 UCOB整体框架与实验结果概览

核心观察：技能上下文并不总是可靠教师

现有一些 skill-conditioned self-distillation 方法通常假设：带技能的 prompt 可以作为更强的 teacher，为不带技能的 prompt 提供监督，例如 SDAR 和 Skill-SD [1, 4]。这个假设很直观，因为技能包含了历史经验，看起来应该比原始状态信息更丰富。

但我们的观察表明，这个假设并不稳定成立。

首先，在 SDAR [1] 这类非对称自蒸馏设置中，rollout 由 no-skill prompt 生成，而 skill-conditioned prompt 作为 privileged teacher。如果 skill view 真的是稳定更强的教师，那么带技能评估曲线应该持续优于不带技能评估曲线。实验结果却显示，skill-conditioned view 并不会始终占优，在 WebShop 上甚至长期弱于 no-skill view。

一个自然的疑问是：是不是因为带技能视角没有参与真实环境交互，所以产生了分布偏移？为此，我们进一步测试 dual-rollout 设置，让 skill view 和 no-skill view 都参与 on-policy rollout。这样一来，带技能视角也能通过环境反馈被优化。

然而结果仍然显示，带技能视角并不能成为普遍权威的 teacher。也就是说，问题不只是 exposure mismatch，而是技能上下文本身具有状态依赖性：它可能有用，也可能误导。

进一步地，我们在同一个任务、同一个 anchor state 下比较 skill view 与 no-skill view 的 return-to-go。结果发现，skill-minus-no-skill value gap 呈现明显的混合符号：有些状态下 skill view 更好，有些状态下 no-skill view 更好。

在单条轨迹内部，更优分支也可能随着决策步发生切换。换言之，即使一条轨迹整体成功，也不代表其中每一步都适合作为 teacher。trajectory-level 的成功或失败太粗糙，无法决定每个局部状态下应该由谁监督谁。

图2 UCOB的核心观察：skill-conditioned view并不总是可靠教师，teacher direction需要由局部状态价值决定

因此，UCOB 关注的核心问题不是简单地“要不要使用技能”，而是：

当 skill view 和 no-skill view 在同一状态下表现不一致时，应该相信谁？

这些观察也解释了 UCOB 与近期 skill-conditioned agent 方法之间的差异。已有方法有的关注双粒度技能记忆或技能演化，例如 D2Skill 和 Skill1 [2, 3]；有的关注 skill-conditioned self-distillation，例如 SDAR 和 Skill-SD [1, 4]；也有的支持 skill-free inference。但很少同时覆盖 state-level skills、credit-aware supervision、skill-free inference、evolving skill memory 和 evolving skill policy。UCOB 的目标正是把这些能力统一到一个训练闭环中。

表1 代表性skill-conditioned agent方法对比

工作概述

为了解决上述问题，论文提出 UCOB（Learning to Utilize and Evolve Agentic Skills via Credit-Aware On-Policy Bidirectional Self-Distillation），一个面向智能体技能利用与演化的信用感知双向自蒸馏框架。

这里的 utilize and evolve 不是简单并列关系，而是一个递进闭环：UCOB 先判断检索技能在当前状态下应该被信任还是被纠正，再把这次局部信用证据写回技能记忆和技能写作者，使后续检索到的技能不断变好。

UCOB 的核心思想可以概括为一个四阶段训练闭环：从双粒度技能记忆中检索技能，构造 skill/no-skill 两个 context views；通过 mixed on-policy rollouts 获得可比较的局部证据；用 CBSD 决定谁教谁，从而实现可靠的技能利用；最后将局部信用证据写回技能记忆，使策略和技能记忆共同演化。论文附录 Algorithm 1 还给出了完整训练流程伪代码。

图3 UCOB方法框架：双粒度技能记忆、混合rollout、信用感知双向自蒸馏与技能演化

1. 双粒度技能记忆：构造 skill/no-skill views

UCOB 首先维护两个技能池：task-level skills 和 state-level skills。前者描述任务级策略，例如如何规划搜索顺序；后者描述局部状态下的细粒度决策规则，例如在某个观察下应该点击、返回、拾取还是继续搜索。

每个 skill {m} 包含文本原则、适用条件、检索 key {k_m}、utility score {U(m)} 和 usage count {n_m}。在检索时，UCOB 并不只依赖语义相似度，而是使用 utility-aware UCB score：

R_p(m;s_t)= \alpha\,\operatorname{sim}(q_p(s_t),k_m) +(1-\alpha)\left( U(m)+\eta\sqrt{\frac{\log(N_p+1)}{n_m+1}} \right)

其中，{p} 表示技能池类型，可以是 task 或 state；{q_p(s_t)} 是当前状态对应的检索 query，{N_p} 是该技能池的总使用次数。第一项衡量语义相关性，第二项同时考虑历史效用和 UCB 探索项。

随后，UCOB 会分别从 task pool 和 state pool 中取 top-K 技能，并把这些技能插入当前状态 prompt，形成 skill-conditioned view {P_+}。与之对应，{P_0} 只包含当前状态信息，不加入任何检索技能。这样，同一个模型在同一个环境状态下就形成了两个 on-policy context views：带技能视角 {P_+} 和不带技能视角 {P_0}。

2. Mixed rollouts：为两种视角建立公平比较

UCOB 首先对同一个任务采样两类 on-policy rollouts：一半使用带技能 prompt，另一半使用不带技能 prompt。随后，UCOB 参考 GiGPO [5] 的 anchor-state credit assignment 思路，将 rollout records 按照 same task 和 same anchor state 进行分组，并比较两种视角的 return-to-go。

对于任务 {u} 和 anchor state {\tilde{s}}，UCOB 会收集所有到达该 anchor state 的 rollout records，形成局部比较集合 {\mathcal C(u,\tilde{s})}。每条 record 会记录当前状态、采样分支、acting prompt、opposite prompt、动作响应和 return-to-go。

其中，{c_{i,t}} 表示该动作来自 skill view 还是 no-skill view，{\bar c_{i,t}} 表示相反视角，{G_{i,t}} 是从当前状态开始的 return-to-go。

这一步很关键：UCOB 不是拿整条轨迹粗略比较，而是在同一任务、同一 anchor state 下比较两种视角。这样才能判断“当前状态下技能到底有没有帮上忙”。

3. CBSD：由局部回报决定谁教谁

CBSD 是 UCOB 的核心。它并不预设 skill view 一定是 teacher，而是在每个 anchor-state group 中选择更高回报的 record 作为局部参考：

\rho^\star=\arg\max_{\rho\in\mathcal C(u,\tilde{s})}G_\rho, \qquad c^\star=c_{\rho^\star}, \qquad y^\star=y_{\rho^\star}

随后，UCOB 用该局部 winner 与相反分支之间的 return gap 决定是否蒸馏。只有当 {\Delta_e} 大于 {\epsilon_{\mathrm{CBSD}}} 时，该 pair 才会进入 CBSD 训练集合 {\mathcal P_{\mathrm{CBSD}}}。如果局部 winner 是 skill view，则蒸馏方向为 skill → no-skill；如果局部 winner 是 no-skill view，则方向变为 no-skill → skill。

因此，CBSD 的 teacher direction 不是固定的，而是由 same-task, same-anchor-state return evidence 动态决定。

在 token-level 蒸馏时，UCOB 让两种视角在同一个 credited prefix 上计算分布，并只在局部 teacher 的 top-K token support 上匹配 teacher 和 target 的 token 分布，从而避免把全词表上的噪声都纳入蒸馏。

CBSD 的核心损失可以写为：

\mathcal L_{\mathrm{CBSD}} = \frac{1}{Z_{\mathrm{CBSD}}} \sum_{e\in\mathcal P_{\mathrm{CBSD}}}\sum_j \chi_{e,j}D_{e,j}^{\mathrm{top}K}

其中，{D_{e,j}^{\mathrm{top}K}} 表示 teacher top-K support 上的分布匹配项，{\chi_{e,j}} 控制每个 token 位置的监督强度。具体来说，{\chi_{e,j}} 会结合有效 token mask、return-gap weight 和 confidence gate：return gap 越大，蒸馏权重越高；如果局部 teacher 在当前 token 上并不比 target 更可信，confidence gate 会降低对应监督。

直观来说，CBSD 做了两件事：

当技能真的有帮助时，将 skill-conditioned behavior 蒸馏给 no-skill view，让模型逐步内化技能。
当技能产生误导时，让 no-skill view 反向纠正 skill view，避免错误技能被持续强化。

因此，CBSD 并不是简单地增加一个蒸馏损失，而是把稀疏的环境回报差转化成局部、稠密、方向可变的跨视角监督信号。

4. 技能演化：把局部证据写回 skill memory

CBSD 使用的局部比较集合不仅用于蒸馏，也用于写回和维护技能记忆。UCOB 会从 rollout groups 中反思 task-level skills，并从同一 anchor state 下高回报和低回报 record 的对比中写出 state-level skills。因此，state-level skills 不是简单的轨迹摘要，而是带有局部信用分配证据的状态级经验。

对于被使用的技能 {m}，UCOB 根据其相对于 no-skill baseline 的成功率增益更新 utility：

U(m)\leftarrow (1-\beta_U)U(m)+\beta_U\delta_m

其中，{\delta_m} 表示使用技能 {m} 的 rollout 相比无技能基线带来的成功率提升。高 utility 技能未来更容易被检索，低 utility 技能则会逐渐被压低。

UCOB 还会用 utility-derived advantage 训练 reflection-based skill writer。高效用技能对应的 reflection responses 会被增强，低效用技能对应的写作行为会被抑制。这样，策略提升会带来更好的轨迹，更好的轨迹会写出更有用的技能，更有用的技能又会支持后续训练，形成一个持续演化的闭环。

5. 整体训练目标

UCOB 将在线强化学习、双向自蒸馏、技能写作训练和稳定性正则统一在一个训练目标中：

\mathcal L= \mathcal L_{\mathrm{RL}} +\lambda_{\mathrm{CBSD}}\mathcal L_{\mathrm{CBSD}} +\lambda_{\mathrm{refl}}\mathcal L_{\mathrm{refl}} +\beta_{\mathrm{KL}}\mathcal L_{\mathrm{KL}}

其中，{\mathcal L_{\mathrm{RL}}} 负责环境交互中的策略改进，{\mathcal L_{\mathrm{CBSD}}} 负责基于局部回报的双向自蒸馏，{\mathcal L_{\mathrm{refl}}} 用于训练 reflection-based skill writer，{\mathcal L_{\mathrm{KL}}} 则控制策略更新稳定性。

从整体上看，UCOB 并不是把技能记忆作为一个静态外挂，也不是“检索到就直接用”。它先通过局部信用分配实现可靠的技能利用，再将利用过程中的正负证据写回技能系统，推动技能记忆和技能写作者持续演化。

理论视角：为什么局部双向蒸馏是合理的

论文还从局部策略改进的角度解释了 CBSD 的合理性。这里的理论分析并不声称整个 UCOB 非平稳训练系统一定全局收敛，而是回答一个更具体的问题：在同一个 task-anchor state 下，如果我们已经知道哪个视角的 return 更高，那么把低回报视角向高回报视角蒸馏，是否是一个局部有利的更新方向？

设 {x=(u,\tilde{s})} 表示同一个任务和同一个 anchor state，{p_+} 和 {p_0} 分别表示 skill view 与 no-skill view 在旧策略下的响应分布。对于任一分支 {c}，其局部分支价值可以理解为“该视角在当前 anchor state 下产生响应后的期望后续回报”。

由于 skill view 和 no-skill view 是在同一个 anchor state 下比较，它们共享相同的状态基线 {V^\pi(x)}。因此，skill-minus-no-skill value gap 可以等价写成局部 advantage difference：

\Delta(x) = \mu_+(x)-\mu_0(x) = \mathbb E_{p_+}A^\pi(x,y) - \mathbb E_{p_0}A^\pi(x,y)

这个结论很关键：same-anchor return gap 不是普通的轨迹偏好，而是在同一状态基线下，两种 context views 的局部优势差。因此，它可以用来决定“谁在当前状态更值得被蒸馏”。

进一步地，设 {h} 是高回报视角，{\ell} 是低回报视角，二者局部价值差为 {\delta_x>0}。考虑一个理想化的小步更新：将低回报视角的响应分布向高回报视角移动一小步 {\eta}：

p_\ell^\eta(\cdot\mid x) = (1-\eta)p_\ell(\cdot\mid x) + \eta p_h(\cdot\mid x)

在这个更新下，低回报视角的局部 advantage surrogate 会得到一阶提升；如果策略更新足够小，并受到 trust-region 约束，这个局部改进还可以对应到整体回报下界中的正向一阶项：

\mathbb E_{p_\ell^\eta}A^\pi(x,y) - \mathbb E_{p_\ell}A^\pi(x,y) = \eta\delta_x, \qquad J(\pi^\eta)-J(\pi)\ge \frac{d_\pi(x)}{1-\gamma}\eta\delta_x-C\eta^2

也就是说，在局部分支排序估计正确、更新步长足够小的条件下，将低回报视角向高回报视角蒸馏，会给策略改进目标带来正向的一阶贡献。CBSD 做的正是这个方向的近似：用 stop-gradient 的高回报视角作为局部 teacher，并用 return gap 控制蒸馏强度。相比固定 skill → no-skill 的蒸馏方式，CBSD 可以在 {\Delta(x)<0} 时自动反转方向，从而避免把误导性的 skill-conditioned behavior 继续蒸馏进模型。

实验结果

论文在 ALFWorld、WebShop 和 Search-QA 三类 agentic tasks 上验证 UCOB，覆盖具身交互、网页购物和搜索问答等不同任务形态。实验使用 Qwen2.5-7B-Instruct、Qwen2.5-3B-Instruct 和 Qwen3-1.7B 作为主要 backbone，并与三类方法进行比较：

Skill-free RL baselines：如 GRPO [6] 和 GiGPO [5]。
Skill-augmented agent methods：如 SkillRL [7]、D2Skill [2]、SkillC [8]、SAPO [9] 和 Skill1 [3]。
Self-distillation methods：如 RLSD [10]、Skill-SD [4]、SDAR [1] 等。

表2 UCOB在ALFWorld、WebShop和Search-QA上的主结果

实验结果表明，UCOB 在多轮 agentic success 指标上稳定领先，并在 Search-QA 上保持竞争性表现。

在 ALFWorld 上，UCOB 在三个 backbone 上均取得最优 overall success rate，分别达到 93.0、92.2 和 89.1。

在 WebShop 上，UCOB 同样在三个 backbone 上取得最优 success rate，分别达到 85.9、78.1 和 79.7，并且在 task score 上也保持 top 或 near-top 性能。

提升最明显的是 Qwen3-1.7B 这一较小模型。在该模型上，UCOB 相比 Skill1 [3]：

ALFWorld success 从 65.6 提升到 89.1，绝对提升 23.5 个百分点。
WebShop success 从 61.7 提升到 79.7，绝对提升 18.0 个百分点。

相比 SDAR [1]，UCOB 在 Qwen3-1.7B 上的提升更加明显：

ALFWorld 提升 35.2 个百分点。
WebShop 提升 21.1 个百分点。

这说明，UCOB 的优势并不只是来自“加了技能记忆”。因为 D2Skill、Skill1 等方法本身也使用或演化技能记忆 [2, 3]。UCOB 的关键收益来自于：它能够判断技能是否可靠，并通过 CBSD 将有用技能内化、将误导技能纠正。

在 Search-QA 上，UCOB 整体保持竞争性表现，说明该框架主要在多轮交互和局部信用分配更强的环境中收益最明显，同时不会显著牺牲搜索问答能力。

消融实验与机制分析

为了验证 UCOB 各模块的贡献，论文进一步进行了系统消融。结果显示，去除 anchor-state grouping、state skills 或 reflection self-training 都会带来性能下降，说明局部状态分组、状态级技能和技能写作者自训练提供了互补收益。

更关键的是，当去除 mixed skill/no-skill rollouts 或去除 CBSD 时，性能下降更加明显。这说明，直接把技能混入 on-policy rollouts 并不能替代显式的局部蒸馏信号。对于长程 agentic RL，仅靠稀疏回报让模型自己学会何时相信技能是不够的，UCOB 必须将 local return gap 转化为更稠密的双向监督。

图4 UCOB在ALFWorld和WebShop上的主要消融实验

CBSD 内部消融也进一步验证了 teacher direction 的重要性。当蒸馏方向被限制为 skill → no-skill，或者固定为某个方向时，性能都不如完整 CBSD。这与前面的 observation 一致：skill-conditioned prompt 有时有用，但并不总是权威教师。

机制分析进一步显示，在训练过程中 no-skill → skill 的反向路由经常出现。这说明 reflection skills 并非天然可靠，UCOB 确实在训练中频繁对误导技能进行过滤和纠正。

图5 UCOB的teacher routing与memory evolution分析

此外，memory evolution 分析显示，UCOB 的 task-level 和 state-level skill pools 会随着训练持续增长，而 retrieved utility 与 useful-skill ratio 说明被检索出的技能仍保持有效。换言之，UCOB 的技能记忆不是静态外挂，而是随着策略训练不断演化的经验系统。

Case Study

为了更直观地展示 UCOB 的双向机制，论文还给出了两个 ALFWorld case study。

在第一个任务中，no-skill view 漂移到了无关位置，而 retrieved state skill 引导 skill view 走向更合理的搜索位置。此时，UCOB 选择 skill view 作为 teacher，并将该行为蒸馏给 no-skill view。

在第二个任务中，retrieved state skill 反而触发了不必要的动作，使模型试图拿取已经可见的物体；而 no-skill view 选择了更直接的放置动作。此时，UCOB 反过来选择 no-skill view 纠正 skill view。

图6 UCOB根据局部回报选择不同teacher direction的case study

这两个案例说明，UCOB 并不会盲目信任技能，也不会简单丢弃技能。它真正做的是：在每个关键状态上，用局部回报证据决定技能应该被内化，还是应该被纠正。

总结

本文提出 UCOB，一个面向智能体技能利用与演化的信用感知双向自蒸馏框架。与已有方法不同，UCOB 不再将 skill-conditioned context 固定视为 privileged teacher，而是将 skill view 和 no-skill view 作为同一模型的两个 on-policy context views，并通过 same-task, same-anchor-state return evidence 动态决定 teacher direction。

更重要的是，UCOB 将“利用”和“演化”组织成递进关系：先在每个局部状态判断技能是否可靠，并完成内化或纠错；再将这些判断结果反哺给技能记忆和 reflection writer，使后续技能生成与检索更有价值。

UCOB 的核心贡献可以概括为三点：

提出并解释 CBSD 的局部信用机制：实验观察表明，带技能视角并不总是比不带技能视角更可靠；理论分析进一步说明，同一 anchor state 下的 return gap 可以作为局部 teacher direction 的信用证据。
构建 UCOB 训练闭环：将 CBSD、dual-granularity skill memory、utility-aware retrieval 和 reflection self-training 统一起来，形成“先可靠利用、再持续演化”的技能学习流程。
验证跨模型与跨任务收益：在 ALFWorld、WebShop 和 Search-QA 上对比 skill-free RL、skill-augmented methods 和 self-distillation baselines，并通过消融和机制分析验证关键设计有效性。

总体而言，UCOB 将 skill utilization 从“检索后直接使用”推进到“基于局部信用分配进行选择、纠错和内化”，并进一步把这些信用证据用于技能演化。这为 agentic RL 中如何可靠利用技能记忆提供了一个新的视角：智能体真正需要学习的，不只是有哪些技能，而是什么时候相信技能、什么时候纠正技能，以及如何把这些判断沉淀为下一轮更好的技能。

参考文献

[1] Lu et al., 2026. Self-Distilled Agentic Reinforcement Learning. arXiv:2605.15155. https://arxiv.org/abs/2605.15155

[2] Tu et al., 2026. Dynamic Dual-Granularity Skill Bank for Agentic RL. arXiv:2603.28716. https://arxiv.org/abs/2603.28716

[3] Shi et al., 2026. Skill1: Unified Evolution of Skill-Augmented Agents via Reinforcement Learning. arXiv:2605.06130. https://arxiv.org/abs/2605.06130

[4] Wang et al., 2026. Skill-SD: Skill-Conditioned Self-Distillation for Multi-turn LLM Agents. arXiv:2604.10674. https://arxiv.org/abs/2604.10674

[5] Feng et al., 2025. Group-in-Group Policy Optimization for LLM Agent Training. arXiv:2505.10978. https://arxiv.org/abs/2505.10978

[6] Shao et al., 2024. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv:2402.03300. https://arxiv.org/abs/2402.03300

[7] Xia et al., 2026. SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning. arXiv:2602.08234. https://arxiv.org/abs/2602.08234

[8] Lin et al., 2026. SKILLC: Learning Autonomous Skill Internalization in LLM Agents via Contrastive Credit Assignment. arXiv:2605.27899. https://arxiv.org/abs/2605.27899

[9] Zhang et al., 2026. Co-Evolving Skill Generation and Policy Optimization. arXiv:2606.08755. https://arxiv.org/abs/2606.08755

[10] Yang et al., 2026. Self-Distilled RLVR. arXiv:2604.03128. https://arxiv.org/abs/2604.03128