RL - 青稞社区

实录精选｜On-Policy Distillation专题：与RL 的本质区别、全词表监督、跨模型/黑盒蒸馏、Self-OPD...

过去一年，OPD 强势改写大模型后训练格局，消融蒸馏与强化学习的技术壁垒，驱动模型从静态对齐迈向自主进化，一众关乎 AI 自我迭代的前沿疑问应运而生。在 5 月 30 日，#青稞AMA 第 3 期：On-Policy Distillation（OPD）专题中，青稞社区邀请到了当前 OPD 方向最

重探 On-Policy Distillation（OPD）：三类典型失败以及修复路径

作者：storm 原文：https://zhuanlan.zhihu.com/p/2025536259628569667 英文博客:http://yuqianfu.notion.site/revisiting-opd 论文链接:https://huggingface.co/papers/2603.2

七篇论文！深度理解 On-Policy Distillation 与 Self-Distillation

作者：Escapist https://zhuanlan.zhihu.com/p/2009410859999437740 Introduction 从 SFT、RLHF/RLVR 到 On-Policy Distillation 大语言模型的后训练在很长一段时间内有两种主要的方式。第一个是监督微调

On-Policy Distillation 到底是什么？深度解读 On-Policy/Self-Distillation

作者：一木不原文：https://zhuanlan.zhihu.com/p/2004306938188537902 关于On-Policy的工作，我感觉大部分在卖概念，没有太本质上的创新，比如一会说On-Policy Distillation是SFT、一会说是RL，但感觉不如就叫它Distilla

苦涩的教训！ROLL团队分享：Agentic RL 训练中的实践经验

作者：Yancheng He, Weixun Wang, and Xiaoyang Li | Project Leader: Weixun Wang English Version：https://www.notion.so/The-Bitter-Lesson-Behind-Building-Age

2026，进入 Agent RL 时代！

序章：三条哲学在探讨技术之前，我们需要先确立三条基石性的认知：人类的本质：人类在生物界的独特性在于高等智慧，而人与动物的分野，在于制造与使用工具的能力。大模型的定位：ChatGPT 标志着人类首次赋予机器高等智慧。大模型之于现代人类，如同智慧之于原始人类，不仅不可或缺，更不可退化。 Agent

大模型强化学习算法PPO、GRPO、DAPO、GSPO、SAPO的演进与对比

作者：初级程序员 https://zhuanlan.zhihu.com/p/1978480903136245222 本文面向已了解强化学习中策略梯度（policy gradient）、优势函数（advantage）、重要性采样（importance sampling）等概念的读者，重点对大模型强化学

深度对话！2025 “青稞” AI 嘉年华，与 20+ 位青年科学家一起探讨AI 技术瞬间

本次活动专为青年科学家打造，旨在搭建一场 AI 技术的深度对话，来自学术和工业界的 20+ 青年科学家，将与大家一起回顾 2025，展望 2026！

实录精选！流匹配 VLA 的强化学习后训练框架π_RL技术详解

完整PPT下载：【https://t.zsxq.com/gXFFx】在往期 Talk 分享中，RLinf 团队的林灏、臧宏之分别为大家讲解了 RLinf 的系统设计以及 RLinf VLA 的实践。本期 Talk 我们继续和 RLinf 团队、北京大学博士生陈康一起聊一聊面向流匹配 VLA 的强化

当速度扼杀稳定性：字节揭秘训练-推理不匹配导致的RL崩溃

本工作于字节跳动完成。首次发布于2025年9月17日。原文：https://richardli.xyz/rl-collapse 图1. 我们在Qwen3-14B-Base上进行的四次失败的GRPO TIR实验的奖励（左）和gradient norm（右）。所有实验在每个训练步骤采样 1024条轨

BPO VS Score Centering：梯度等价，原始理论目标不同

最近的 BPO 与 Score Centering 两个工作热度很高，BPO 的作者也分享对比了两个方法。😉 Score Centering：解释 training–inference mismatch（TIM）为何制造 drift，并消除它。 BPO（Bellman Policy Optimiza

直播预告！基于细粒度准则的多模态强化学习奖励，如何让模型的推理更忠于视觉证据？

视觉语言模型能生成流畅的回答，却可能看错图表数值，或在推理中引入图像无法支持的结论。来自南洋理工大学 S-Lab、A*STAR 和 UIUC 的研究团队提出了 V-Rubrics，用逐项评分（rubrics）来处理“信用分配”（credit assignment）问题。论文：V-Rubrics:

探索奖励建模新范式！Diffusion Reward Models：走向分布式奖励建模

在这里分享一下兜兜转转了大半年的工作，Diffusion Reward Models，拿 diffusion 来做 reward modeling。 TL;DR 人对同一个回答本来就可能有不同意见，Reward Model 为什么最后一定要压成一个分数？ 1、我们先看了下真实的人类标注，发现这种分

为什么 RLVR 会变成离策略学习？深度解析贝尔曼策略优化以及 score-centering

论文：Bellman Policy Optimization 链接：https://arxiv.org/abs/2609.15987 作者：Zhuoqing Song、Haotian Xu 1. 为什么 RLVR 会变成离策略学习可验证奖励强化学习（Reinforcement Learning

深度！大模型优化器解读：从 Adam 到在线矩阵 Whitening

Adam 的核心操作之一，是利用梯度的二阶矩对更新做归一化。对第 i 个参数坐标，Adam 维护 v_{t,i}\approx \mathbb E[ g_i^2]，计算参数更新 \Delta \theta_i\propto-\frac{ m_i}{\sqrt{ v_i}}. 如果把梯度二阶矩写成 H

“大模型的 Steam”！AgentArk 用 Coding Agent 扩展通用多模 Agent 的 RL 与评测环境

AgentArk 是一个面向多模态智能体的开放环境框架。核心思路是利用 Coding Agent 持续扩展 task，并让同一批环境同时支持 Agentic RL 训练与评测。 AgentArk：https://github.com/P90-RushB/AgentArk AgentArk Hub：h

LoRA 一作、OpenAI o1 核心成员的新工作：首次公开 397B 模型的 Agent RL 训练配方

LoRA 第一作者、OpenAI o1 核心成员 Edward Hu 近期加入 Mercor，担任 Head of AI Modeling。他加入后的首批公开成果之一，便是与 SkyRL 团队联合发布的一套面向复杂知识工作 Agent 的强化学习方案。这项工作并未止步于公布最终结果，而是系统公开了

6000+ 步稳定训练、无需 Critic！深度解析开源 Single rollout 异步强化学习算法 FlashREINFORCE

工具调用、长链推理和环境交互，让 Agent 的每条 rollout 都有自己的节奏：有的很快完成，有的需要多轮交互。训练算法也需要适应这种不规则性，让独立完成的轨迹能够持续进入学习过程。我们推出 FlashREINFORCE，一个面向 Agentic LLM 的 critic-free、sing

周六上午10点！聊聊 RL 后训练框架 SkyRL，以及 397B Agent 的 RL 训练实战

当 Agent 训练从「只训模型」走向「模型 + 环境 + Harness」的协同，有了 RL 数据、也有了 RL 框架之后，接下来该做什么？这大概是一些刚开始做 Agentic RL 的企业团队会遇到的问题。 9月19日（周六）上午10:00，青稞Talk 第155期，青稞社区邀请到 SkyRL

Rethinking OPD II: 为什么 OPD 在一条样本上训练，也能接近全量数据的效果？

作者：朵朵菊花向阳开原文：https://zhuanlan.zhihu.com/p/2079700159114507443 青稞社区为科研人员提供成果宣传支持，如有优秀研究成果分享推广，欢迎投稿联系：aiFreeCode 我们很高兴发布 Rethinking OPD 系列工作的第二篇，从数据视角看

干货！大模型后训练的“剂量”学，什么剂量才能让 Qwen3.8-27B 想得少、不掉能力，还能用 XH 档？

先放最终后训练完成的模型地址： https://modelscope.cn/models/Merkyor/Qwen3.8-27B-EfficientThink-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 这件事一开始看起来挺简单。Qwen 3.8 27

MiniMax-H3 音视频生成 RL 后训练：基于 VeRL-Omni 的开源实践

引言 MiniMax-H3 是当前开源社区中最受关注的音视频生成模型之一。它是一个通用的多模态生成模型，接收文本、图像、视频、音频等多种输入，直接输出带原生立体声音轨的视频，支持最长 15 秒、最高 2K 分辨率、24 FPS、32 kHz 立体声。在 Artificial Analysis 的

终局奖励之后：从 Apodex 1.1 看长程 Agentic RL 如何分配 credit

如果一个 Agent 用几十轮工具调用完成了一项任务，最后只得到一个 0/1 reward，这个 reward 应该怎样分配给前面的决策？这是长程 Agentic RL 中一个很核心、但也很容易被“最终成功率”掩盖的问题。一条轨迹最后失败，不等于前面的搜索、文件处理和代码执行全部错误；一条轨迹最

华为&港中文最新开源 Lego-RL：让 Coding Agent 的强化学习训练真正"长稳可靠"

Lego-RL 是一套面向 Coding Agent 的强化学习训练框架，也是 LegoX 系列的最新工作，由华为与香港中文大学联合团队完成。论文：https://arxiv.org/abs/2608.17393 代码：https://github.com/LegoX/Lego-RL 文档：htt

聊聊 Agentic RL 中的多轮 rollout、上下文重建与 RL 训练

作者：Hongliang Cao https://chlience.com/articles/agentic-rl-research/ 推理一次模型调用对于一次典型的 agentic inference，第 i 次模型调用可以分为三个层次：agent harness 维护的内部状态、按照特定协议

为什么复杂 RL 离不开分布式系统，分布式 RL 的核心矛盾又是什么？

作者：觉醒也醉了 https://zhuanlan.zhihu.com/p/2047396735169908748 一、为什么复杂 RL 离不开分布式系统近年来，强化学习（Reinforcement Learning, RL）在复杂决策任务中取得了大量突破，尤其是在游戏 AI、机器人控制等领域，以

系统梳理 World Model in Agentic RL！

作者：Sherry https://www.xiaohongshu.com/user/profile/642d87c90000000011020daf World Model 这个概念其实已经提出很久了，我最近才第一次系统涉猎。虽然大家都在讨论 World Model，但真正试图解决的似乎并不是同一

从 RL 到蒸馏，再到软蒸馏：Why RL Matters？

作者：ybq https://zhuanlan.zhihu.com/p/2067725096886785009 这篇文章简单讨论下 rl 的作用，我们到底该如何理解 rl 在 posttrain 阶段的定位？以及，为什么有时候模型仅仅靠蒸馏就能取得极好的效果呢？文章系个人观点，未必正确，大家随便看

正向 KL vs 反向 KL！为什么OPD、RLHF在线强化学习用反向KL，SFT离线蒸馏却用正向KL？

作者：真中合欢 https://www.zhihu.com/question/2067555143608954948/answer/2067908579819102910 为什么OPD、RLHF在线强化学习统一使用反向KL，SFT离线蒸馏却用正向KL？仅调整顺序差异巨大？因为两个方向的 KL 具有

直播预告！聊聊I Agentic RL 下半场：JitRL——无需梯度更新的即时强化学习

在 LLM Agent 的进化之路上，“持续学习（Continual Learning）”始终是一座难以逾越的大山：靠上下文学习（ICL）？拼接长历史不仅导致 Token 消耗激增、首字延迟飙升，且始终无法真正改变模型底层的动作概率分布；靠传统强化学习（RL）？离线微调的算力成本极其高昂，极

模型部署后还能越跑越强！淘天 × 华科大提出 SERPO，在开放式任务上实现无标注自进化

模型上线之后，还能不能在没有标注的情况下继续变强？ TTRL（Test-Time Reinforcement Learning）给出的路径很直接：让模型在测试任务上自己采样、自己构造奖励、自己更新参数。但现有 TTRL 大多依赖答案投票：采样多条回答，抽取最终答案，再用多数票生成伪标签。数学题、选择

直播预告！没有外部专家监督时，如何让 OPD 策略学会自我持续进化？聊聊在线自进化后训练框架 DRIFT

强化学习之后，大语言模型还能如何持续进化？在没有人类专家监督的情况下，大模型到底该怎么练才能不崩溃、不效率低下？来自贝壳、清华、巴黎高师的研究团队最新带来一篇名为《DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Expl

从 LLM Rollout 到 Agentic Rollout！Agentic RL 训练框架设计中的一些总结和思考

作者：水木SH https://zhuanlan.zhihu.com/p/2062647902879667967 前言：前段时间支持了团队的Agentic RL训练工作，在框架开发过程中碰到诸多问题，有了一些新的思考，在此进行记录。一、从 LLM Rollout 到 Agentic Rollout

直播预告！机器人如何实现有效学习？聊聊正行创新 x 清华团队提出自监督帧级别优势建模算法STEAM

随着具身智越来越多地进入生产环境，策略进化的核心变成对混杂数据的高效利用。这正是离线强化学习发挥的重要场景，但效果严重依赖于帧级的好坏标注——逐帧分辨哪些时刻在推进任务，哪些在停滞或倒退。但靠人类逐帧标注机器人数据非常耗费人力、难以规模化。为了解决这个问题，清华于超老师团队与正行创新（Strid

大模型对齐中的古德哈特定律：为什么你的 Reward Model 总是被 “Hack”？

作者：蔡恒毅 https://zhuanlan.zhihu.com/p/2058574573143078204 做过 LLM 后训练的人，大概都见过这样一条曲线：强化学习跑着跑着，模型在奖励模型上的得分一路走高，训练日志里一片祥和；可当你真的翻开模型生成的文本，却发现它开始变得冗长、爱堆排版、甚至在

又造一个 RL 框架？Agentic RL Research 框架 Molt：9K 行核心 RL 代码、纯 PyTorch！

作者：初七9527 https://zhuanlan.zhihu.com/p/2060313194971846263 TL;DR Molt 是一个 agentic-first、纯 PyTorch-Native 的强化学习框架：约 9,000 行核心 RL 代码，你能一口气从 CLI 追到执行分支；

人大 & 京东｜关于 RL中 Off-Policy 修正，我们可能一直在走弯路

做 LLM RL 后训练，最干净的做法本该是on-policy：拿当前策略 \pi_\theta现采一批数据，算梯度，更新，再采下一批。policy gradient的理论就建立在"数据来自当前策略"这个前提上，只要严格on-policy，梯度就是无偏的，训练也最稳。问题是,严格 on-polic

From RLHF to VLA-RL：Agentic RL 的工程教训对具身 RL 的启示

作者：向阳原文链接：https://zhuanlan.zhihu.com/p/2057411805450866980 最近我在准备从 LLM Post-training 转向 VLA。读完 π0 / π0.5 / RT-2 这一批 imitation learning，以及 π0.6-Recap、

当异步 Agentic RL 遇到“旧策略失忆”：重新理解 Off-Policy Correction

作者：还可以在找实习 https://zhuanlan.zhihu.com/p/2038002855374753895 欢迎关注我们关于异步 Agentic RL 的最新工作。本文聚焦一个在大规模 LLM 强化学习系统中非常基础、但经常被忽略的问题：当 rollout 和 training 异步解耦

从 GLM/Qwen 看: Agentic RL 最新进展

作者：YiFan-Zhang https://zhuanlan.zhihu.com/p/2054605815588435332 GLM 5.2: From Grpo to PPO 引入了 slime 这套训练与推理基础设施，同时在长链路任务里改用了更适合 compaction 的 PPO 训练方式，

深入理解 Agentic RL 中的行为崩塌现象

作者：Jason 原文：https://zhuanlan.zhihu.com/p/2050794185909876253 过去一段时间里，我一直在思考一个问题：Agentic RL 到底和传统 RLVR 有什么本质区别？最容易想到的答案当然是工具调用。传统 RLVR 往往围绕单轮回答展开，模型生成

xOPD 演进｜梳理近期 OPD 的改进工作：哪些是同一个问题换说法、哪些是动了不同的模块

作者：banana 原文：https://zhuanlan.zhihu.com/p/2039735648421163598 OPD相关的论文这几个月每周冒出好几篇，剧本和当年xPO（DPO 之后）、xGRPO（GRPO 之后）几乎一样，大家围着它做排列组合。本文试图对近期这一波工作进行初步梳理——哪

不是所有SFT失败都该加epoch——ACL 2026腾讯混元教你五把「手术刀」

论文: Why Supervised Fine-Tuning Fails to Learn: A Systematic Study of Incomplete Learning in Large Language Models 会议: ACL 2026 |单位: 腾讯混元 × UNSW arXiv:

Model-Based RL 与世界模型！拆解 Latent 世界模型范式

一、为什么具身智能重新关注世界模型？ "世界模型"在具身智能领域似乎又变成了一个高频词，它为什么又回到了热门呢，和传统强化学习又有哪些区别？首先，从 Model-Based RL 的视角看，世界模型并不是一个全新的概念，它可以理解为 Model-Based RL 中的 learned dynami

🤔什么？SFT、DAgger、离线 RL 和 OPD，竟然是同一张 2×2 表格上的四个格子！

蒸馏 + RL 已经是 reasoning 模型后训练的标配：DeepSeek-R1、s1、OpenThinker 走的是“off-policy 蒸馏再 RL”，Qwen3、MiMo、GLM-5 则把 on-policy distillation（OPD）直接编进了后训练管线。但有一个问题很少有人

直播预告！一起聊聊腾讯混元最新开源的 UniRL：面向统一多模态模型的分布式 RL 后训练框架

目前多模态领域 RL 仍然缺少生成理解统一的 Infra。图像 / 视频的生成、理解，Prompt-Enhancer (PE)，以及 HunyuanImage-3.0、Bagel 等 unified multimodal models，通常都需要各自维护 rollout、reward、advanta

给 Agent RL 加个“事后复盘”：StepOPSD 让模型精准找到“哪一步走错了”？

论文：StepOPSD: Step-Aware Online Preference Distillation for Agent Reinforcement Learning 链接：https://arxiv.org/html/2605.27140v1 作者：Yanfei Zhang, Xu Lin

从 ARPO，到 AEPO，再到 Agent-World：探索通用智能体训练的可行路径

6月6日上午10点，青稞Talk 129 期，青稞社区邀请到中国人民大学高瓴人工智能学院博士生董冠霆，来直播分享《从 ARPO，到 AEPO，再到 Agent-World：探索通用智能体训练的可行路径》。本次分享将主要围绕三篇通用智能体强化学习论文展开，沿着"智能体强化学习 → 多环境强化学习"的

自动化所最新推出 π-Play: 基于自博弈生成特权信息的自蒸馏大模型自进化框架

作者：张曜程，朱圆恒，赵冬斌@中科院自动化所研究背景智能体在训练过程中往往面临几个核心瓶颈，标注数据昂贵、奖励信号稀疏，以及长程任务中的信用分配困难。自博弈（Self-Play）提供了一条很有吸引力的路径：模型可以自己生成问题、自己学习解决问题，从而减少对外部训练数据的依赖。然而，现有自博弈方法

MinT: 面向百万级 LoRA 策略的训练与推理基础设施

大模型后训练会带来一个很现实的系统问题：模型会不断产生新版本。一次强化学习实验、一个产品功能、一个客户、一组评测结果，都可能对应一种新的模型行为。基础模型本身又非常大，动辄万亿参数规模。系统如果把每种行为都保存成一份完整模型，再分别加载和部署，成本会很快失控。 MinT 是一套面向这个问题的大模型后

直播预告｜从 MiniLLM 开始，为什么 OPD 正在成为推理模型时代的“基础设施”？

过去一年里，OPD 几乎成为后训练领域最火热的话题之一。越来越多工作开始发现：学生模型并不只是“模仿教师” On-policy 数据可能比静态 SFT 数据

和翁家翌（OpenAI）一样的idea！如何让 AI 全自动刷榜——可能的下一个强化学习范式

作者：黄呈松，圣路易斯华盛顿大学博士生在Deep Learning之前，我们在做传统机器学习，通过研究规律，写基于规则的代码来完成我们想要完成的任务。在LLM之前，我们用深度学习来提取特征，设计网络来完成我们想要完成的任务在LLM之后，我们似乎试图用LLM来解决所有的任务但...我们真的达到

重探 On-Policy Distillation（OPD）：三类典型失败以及修复路径

在最近的大模型后训练中，On-Policy Distillation已经成为默认选项之一。但研究者们在分析训练日志、实验曲线和对比不同 OPD 方法实现时，反复碰到同一个问题：理论上很自然的 sampled-token OPD，实际运行起来并不稳定，甚至会把模型往一些局部上“看起来合理”、整体上却

OpenAI 翁家翌：“启发式学习”的强化学习新范式

作者：翁家翌原文：https://trinkle23897.github.io/learning-beyond-gradients/#zh Continual Learning 一直难以被解决，主要卡在神经网络的灾难性遗忘：学了新东西，旧能力就容易被冲掉。那如果不把目光只放在神经网络权重上，还有没

大模型强化学习的Scaling Law

随着 OpenAI o1 和 DeepSeek-R1 的惊艳亮相，强化学习（RL）后训练（Post-training）已成为大模型通往高阶推理能力的必经之路。但在这一新兴领域，开发者们正面临着缺乏系统的理论指引的困境。不同于预训练阶段成熟的 Scaling Law，RL 后训练阶段的许多关键工程

OPD深度解析：从数学推导到DeepSeek V4、SWIFT与verl实践

作者：banana https://zhuanlan.zhihu.com/p/2033212181823608430 这篇文章要回答的问题：OPD 到底在优化什么？训练 prefix 从哪里来，以及在每个 prefix 上你比较的是一个 sampled token、一个 top-k 局部分布，还是整

从 TTRL 到 URLVR：大模型的无监督强化学习还能走多远？

ICLR 2026 | 大模型的无监督强化学习能走多远？强化学习正在重塑大模型能力边界。OpenAI o3、DeepSeek-R1、Gemini 3 等顶尖模型都在用大规模 RLVR（可验证奖励强化学习）刷新推理任务的天花板。但所有人都知道，纯监督式训练不可持续。人工标注成本指数级增长，在专业领

用强化学习做知识蒸馏，方差太大怎么办？

作者：Frankdark https://zhuanlan.zhihu.com/p/2026908932694647597 最近在做 RL-based knowledge distillation 的过程中，我们被一个老生常谈的问题折磨了很久：REINFORCE 的梯度方差太大，训练极其不稳定。最

深度讲解两种 KL 散度：Forward 与 Reverse，以及在实际应用中如何选择？

作者：欲壑难填 https://zhuanlan.zhihu.com/p/2024947723019843192 KL 散度是机器学习中的一个重要概念，其非对称性导致在实际中有 Forward KL 和 Reverse KL 两种形式，本文介绍这两种形式在优化过程中的差异，再讨论实际中应该如何选择。

FIPO & Future-KL：突破大语言模型在复杂推理中的性能瓶颈

最近 Qwen Pilot 团队一直在研究 RL 如何解锁复杂推理能力。翻遍数据后，抓到了 3 个反直觉的发现： 1️⃣ RL 其实很“懒” 策略演化极稀疏在 >98% 的生成步骤里模型没变，RL 并没有重写基座，它更像是个教练，只在关键逻辑分叉口轻轻推一把。论文：Sparse but Crit

ICLR'26 Oral | 当 LLM Agent 在多轮推理中迷失时：T3 如何让强化学习重新学会主动推理

随着大语言模型逐步从「单轮问答」走向「真实环境中的持续交互」，各种各样如OpenClaw的agentic applications正在成为当前研究与产业共同关注的核心方向。无论是在网页环境中进行信息检索与操作，还是完成代码生成与调试、个性化推荐等复杂决策任务. 这些场景都要求LLM agent具备主

从传统 RL 的视角看大模型 RLVR

作者：ChenShawn https://zhuanlan.zhihu.com/p/2005256302918665528 我们最近 release 的工作 VESPO，是一个在 off-policy setting 下解决 LLM RLVR 训练稳定性问题，以及 bias-variance tra

大模型RL算法梳理：从全量词元到部分词元的路径演化

一、引言：大模型强化学习算法的演化格局近年来，以 OpenAI 的 o1 系列、DeepSeek 的 R1，以及 Qwen 系列模型为代表，大语言模型在数学证明、代码生成等长链路推理任务中展现出更强的稳定性与推理深度。在这一背景下，面向大语言模型的强化学习（RL for LLMs, RL4LL

On-Policy Distillation 三大流派：一个方法解决两道难题

痛点与破局 RL 训练过的人都知道那种感觉——跑了三天 GRPO，token 消耗是 SFT 的十几倍，最后一看提升，几乎为零。问题出在哪？Reward 信号太稀疏，credit assignment 做不到 token 级，rollout 全错时梯度直接归零。但 SFT 也有自己的软肋：推理时

OpenClaw-RL: 结合 GRPO + OPD，在使用中自适应变强的龙虾

在人工智能的发展进程中，我们正见证从纯粹的聊天机器人向能够执行实际任务的计算机使用智能体（Computer-Use Agents）的范式转移。 OpenClaw-RL 是第一个通过对话自动训练工业级 Agent 的强化学习（RL）库，旨在让模型在真实的交互中实现自我进化。一、核心理念：随处部署

大模型的下半场是什么？林俊旸：从 Reasoning Thinking 到 Agentic Thinking

林俊旸在x上发了一篇长文，特此分享 https://x.com/JustinLin610/status/2037116325210829168 过去这两年，彻底颠覆了我们评估和期待大模型的方式。 OpenAI 的 o1 告诉我们：思考本身就能成为模型一种核心的一等能力，你可以专门为了思考去训练模型，

LLM Post-Training 全景指南：从 RLHF 到 GRPO 再到 Agentic RL

作者：Haohe，Meta FAIR 研究科学家 https://zhuanlan.zhihu.com/p/2012909606771400823 1. 引言：什么是 Post-Training？大语言模型（LLM）的训练通常分为两个大阶段：预训练（Pre-training）和后训练（Post

MOE 架构如何做 SFT 和 RL？聊聊 post-training 难点与经验

作者：燕雄飞的一天 https://zhuanlan.zhihu.com/p/2018018879109091590 无论是开源还是顶尖商业模型，moe架构已经成为绝对主流，区别于dense模型，在sft和rl阶段有什么独特的训练难点或者挑战，对于这些挑战如何缓解。期望从基础原理入手，看如何训练mo

从 Depth Scaling 到 Width Scaling！WideSeek-R1：通过多智能体 RL 探索大模型的广度扩展（Width Scaling）

DeepSeek-R1 的成功证明，深度扩展（Depth Scaling）在复杂逻辑推理中具有巨大潜力。但当任务从“深推理”转向“广信息”——如汇总全球头部科技公司多维财务数据——单一大模型往往受限于多轮检索带来的上下文干扰与串行效率瓶颈。为此，我们提出“广度扩展”（Width Scaling）这

聊聊如何在大模型RL中灵活地控制熵

作者：陈坤史鹏 https://zhuanlan.zhihu.com/p/2017276876004017170 本文介绍我们近期在 RLVR 训练动态方面的一项研究。我们从梯度保留裁剪（Gradient-Preserving Clipping）的理论视角出发，提出了一套灵活的熵调节机制，并基于熵

在线 RL 与离线 RL 的本质区别是什么，在 LLM 训练中又如何权衡？

作者：硅基趣玩喵原文链接：https://zhuanlan.zhihu.com/p/2016080986690041206 一、背景 LLM强化学习训练面临一个核心架构选择：是使用在线RL（Online RL）——在训练中实时采样当前策略的rollout，还是使用离线RL（Offline RL）—

ICLR 2026 | 大模型的无监督强化学习能走多远？

作者：朵朵菊花向阳开原文：https://zhuanlan.zhihu.com/p/2015470633765593982 从TTRL开始，无监督RLVR（Unsupervised RLVR）应运而生，让模型在没有人工标注的情况下持续进化。这不仅是降本增效的需求，更是通往超级智能的必经之路。就像预

聊聊 RL 训练中的 Entropy Dynamics，以及现有各种的算法 Trick

作者：小泥鳅 https://zhuanlan.zhihu.com/p/2004633029096776871 TL;DR：推导公式拆解RL训练中Entropy变化流程、基于判别式S_k=p_k(H+\log p_k)分四类讨论Token的Entropy-Dynamic性质、统一解释主流RL-Ent

EditReward ：当 AI 学会“审美”，可控多模态生成的下一代范式

为什么开源图像编辑模型总感觉不如 GPT-4o 或 Nano-Banana 那么“听话”？核心痛点在于缺乏一个真正理解人类审美的 AI “裁判”。 3月14日（周六）上午10点，青稞 Talk 第112期，清华大学在读博士生吴科明，将直播分享《EditReward ：当 AI 学会“审美”，可控多模

RLinf-USER：面向现实世界机器人在线策略学习的统一且可扩展系统

USER 是在 RLinf 上搭建的一套面向现实世界在线策略学习的统一且可扩展的系统。在系统上，它建立了统一的硬件抽象层、自适应通信平面以解决硬件管理和通信问题。算法侧，它搭建了全异步学习框架，设计了持久化、缓存感知的缓冲区，并提供了奖励函数、算法与策略的可扩展接口。

ROLL 团队分享：面向多轮交互 Agentic 场景的 Rollback 课程学习机制探索与实践

作者：Xiaoyang Li, Weixun Wang and Yancheng He | Project Leader: Weixun Wang | March 5, 2026** 本文英文名称：Save, Load and Learn: Boosting Agentic LLMs via Rol

深度拆解！RLHF 泛化与收敛的可证明界

作者：sheriyuo https://zhuanlan.zhihu.com/p/2011084180654671820 从工程上看，我们通常把 RLHF 当成“在 \pi_{\rm ref} 附近，通过偏好信号或显式 reward 优化策略”的交互学习：先收集偏好/评分数据，再通过某种带 KL

Agentic RL：解耦 Reasoning 与 Tool-use

作者：sheriyuo https://zhuanlan.zhihu.com/p/2009946011120971848 近年来，随着 Agentic RL 的兴起，LLM 逐渐从“单次问答器”转变为能够在推理（Reasoning）与外部工具调用（Tool-use）之间反复交互（multi-turn

从“手推策略梯度定理”开始：基于公式推导理解RL的创新本质

作者：无语了ing https://zhuanlan.zhihu.com/p/2010029640434087295 作为新入门强化学习的小白，由于缺乏相关的基础理论知识，经常会遇到一个很尴尬的问题：硬读PPO/GPRO的论文却被各种公式符号搞得摸不着头脑，只看博客和相关文章但却总感觉对里面所讲述的

staleness很大的时候，如何保证offpolicy-rl训练稳定性

作者：haotian https://zhuanlan.zhihu.com/p/2010293867208021164 目前，为了追求上限，各家都尽可能地使用onpolicy训练。对于agentic任务，往往是全异步配置，不可避免带来offpolicy的问题。offpolicy在使用合适的训练set

Dr. Kernel：突破大模型 GPU Kernel 生成的多轮 RL 训练瓶颈

比肩 GPT-5 的 Kernel Coding 模型！Dr. Kernel 用多轮 RL 训练大模型 GPU Kernel 生成让大模型通过强化学习（RL）生成 GPU Kernel 是业界共同的期望。但由于极易受“钻漏洞（reward hacking）”和“惰性优化（lazy optimiza

线性轨迹：揭示 LLM 强化学习中的高效捷径

LLM RL 训练轨迹竟然是线性的？Miaow Lab 最新工作：无需继续训练，直接“预测”未来模型！研究发现，在RLVR训练过程中，LLM的权重和输出概率演化呈现出显著的线性特征，理论分析发现，这源于低学习率、大Batch Size及Adam优化器的特性。说明昂贵的RLVR存在大量冗余计算。基

聊聊 Agentic RL 热门话题：Off-policyness，Sample Efficiency与Priviledge Information

作者：Hao Bai https://zhuanlan.zhihu.com/p/2006963575110013959 今天来聊一下RL的近期热门问题，涉及Off-policyness，Sample Efficiency与Priviledge Information这些话题，可以理解为SFT+RL的

From Traditional RL to LLM RL 理论推导与工程改进

作者：extreme1228 原文：https://zhuanlan.zhihu.com/p/1997363850849300572 过去半年到一年时间，自己也算是在LLM RL领域的一个科研工作者。自从25年年初DeepSeek-R1横空出世后，LLM RL就变成了一个非常火爆的方向，与此同时基

从梯度角度看SFT、Off-Policy Distillation、RL、On-Policy Distillation

作者：一木不原文：https://zhuanlan.zhihu.com/p/2004262797710738371 我们在此讨论SFT,Off-Policy Distillation,RL,On-Policy Distillation之间的联系和区别。在RL没火的时候，我们提到distillat

比肩 GPT-5 的 Kernel Coding 模型！Dr. Kernel 用多轮 RL 训练大模型 GPU Kernel 生成

让大模型生成 GPU Kernel是大家对大模型发展的一个共同期望，并且GPU Kernel本身作为一类代码，天然可被执行，从而获得来自环境的反馈。直觉上非常适合通过 LLM 结合强化学习（RL）的范式进行训练。然而目前并没有行之有效的办法对Kernel生成进行有效的、长时间的 RL 训练。来自港

On-Policy Distillation 是什么？如何做？

作者：kxzxvbk 原文：https://zhuanlan.zhihu.com/p/2000612721868177979 最近，越来越多 LLM 相关的工作提到了一个关键词 On-Policy Distillation （后文会简称为 OPD），这个方法迅速受到大家的广泛追捧和好评。本文将从

具身智能真机RL算法的杂谈：Offline或许是真正的解决方案？

作者：钱泽中，西安交通大学少年班本科大三原文：http://xhslink.com/o/4JTOFucqnmw 之前的相关工作其实从最早期的一派以Q-learning为基础，以及更加倾向于offline RL的真机强化学习算法就可以展现出整个具身社区对RL这一块的态度了，也就是online RL

RL算法推导！PPO -> GRPO -> DAPO -> GSPO -> SAPO

作者：木木原文：https://zhuanlan.zhihu.com/p/1986141224588027138 在DPO(Direct Policy Optimizatio)之后，后续的典型工作发展路线为：GRPO -> DAPO -> GSPO -> SAPO，在有PPO的理论推导基础(可以看

Qwen用假信号也能拿高分？虚假的RLVR如何激活隐藏记忆回路？

无需真实奖励，哪怕用随机、错误的信号进行训练，大模型准确率也能大幅提升？此前，学术界已经发现了一个令人困惑的现象：像 Qwen2.5 这样的模型，即使在 RLVR（带验证奖励的强化学习）过程中给予虚假奖励（Spurious Rewards），它在对应测试集上的准确率依然能神奇地大幅提升，并通过一系

超越精度：为什么训练-推理不一致是一个优化问题，以及简单的学习率调度（LR Scheduling）如何修复它

在 LLM 强化学习（RL）的训练中，有一个长期困扰算法工程师的“幽灵”：训练-推理不一致（Training-Inference Mismatch）。很多时候，你会发现训练开始阶段一切正常，但是一段时间后训练引擎和推理引擎生成token的概率分布就有可能越来越远，accuracy断崖式下跌。主流

JustRL: 用"最笨"的 RL 方法刷新 1.5B 推理模型新基线

如果有人说：不用分阶段训练、不搞课程学习、不动态调参，只用最基础的 RL 配方也能达到不错的性能，会是怎样的结果？我们团队用两个 1.5B 模型做了这个尝试。结果在 9 个数学推理基准上达到了 54.87% 和64.32% 的新基线，算力只用了一半，训练过程也很平稳，4000步没遇到什么大问题。更有趣的是，当我们试着加入一些"应该有用"的优化时，性能反而下降了。也许在某些情况下，简单的方法充分训练后，效果可能比我们预期的要好。这个工作最大的 novelty，也许就在于没有 novelty。

GDPO：解决 GRPO 在多奖励 RL 训练中的"优势崩溃"问题

随着大模型能力的不断提升，越来越多的研究开始在RL（强化学习）训练中同时优化多种偏好（如正确性、格式、长度、bug ratio等）。我们发现多奖励强化学习（multi-reward RL）中经常会遇到训练不稳定的问题，并非主要源于奖励设计或权重冲突，而是优势信号在归一化过程中被“压扁”，导致分辨率下降，提出“advantage collapse”这一关键问题。传统 GRPO 在多奖励场景下的 group-wise normalization 会使不同奖励组合的样本难以区分，削弱学习方向。为此，研究提出 GDPO，通过逐奖励解耦归一化保留细粒度优势差异，并在聚合后进行 batch 归一化以稳定尺度。实验表明，GDPO 在工具调用、数学推理和代码推理任务中显著提升了训练稳定性与最终性能。该工作指出，多目标 RL 的核心在于保持训练信号清晰度，为推理模型与智能体训练提供了更可诊断、可复用的方法论。

别搞混了！Reward Model ≠ Critic：PPO 中的双重评估机制解析