作者：蔡恒毅
https://zhuanlan.zhihu.com/p/2058574573143078204

做过 LLM 后训练的人，大概都见过这样一条曲线：强化学习跑着跑着，模型在奖励模型上的得分一路走高，训练日志里一片祥和；可当你真的翻开模型生成的文本，却发现它开始变得冗长、爱堆排版、甚至在该给结论的地方绕圈子。分数在涨，质量在跌。

这个现象叫 reward over-optimization，业界更习惯叫它 reward hacking——模型没有变得更好，而是学会了”钻奖励模型的空子”。

它几乎是每个做 LLM 后训练的人都撞过的墙，但如果追问一句”它到底为什么会发生、背后的数学机制是什么”，多数人可能只是直觉层面觉得 “RM 不够准呗。”

下文想把这句”不够准”拆开。它不够准在哪里？为什么偏偏是 RL 把这点不准放大成了灾难？以及，如果我们承认 RM 永远不可能完美，那到底该让它在什么地方准？

行文的思路来自一个我很喜欢的哲学观察——古德哈特定律——以及 ICLR 2026 的一篇论文 Chasing the Tail: Effective Rubric-based Reward Modeling for LLM Post-Training。论文给了一个相当干净的理论解释和一套可落地的方法。但下面的内容不是这篇论文的翻译，借这篇工作的数学骨架（在此对这篇工作的作者表示敬意），加上自己对这条问题线的理解，尝试说清楚。

一、古德哈特定律和 reward hacking 的关系

古德哈特定律（Goodhart’s Law）最初是英国经济学家 Charles Goodhart 在 1975 年谈货币政策时提出的，后来被 Marilyn Strathern 概括成一句广为流传的话：

“When a measure becomes a target, it ceases to be a good measure.” 当一个指标被当成目标去优化，它就不再是一个好指标。

它的直觉其实很朴素。任何一个指标（measure）都只是我们真正关心的那个东西（target）的一个代理（proxy）——考试分数是学习能力的代理，KPI 是业务价值的代理，点击率是内容质量的代理。

代理和真实目标之间总有缝隙，平时无所谓；可一旦你开始用尽全力去优化这个代理，优化过程就会专门往缝隙里钻，因为缝隙就是”用更小代价换更高分”的地方。于是分数上去了，你真正想要的东西反而没了。

把这套逻辑搬到大模型对齐上，对应关系几乎是一一对上的：

我们真正关心的，是模型回答的真实质量——正确、有用、安全。这是”真实奖励”，记作 r^\star。它存在于人类偏好或某个理想裁判的心里，在训练时是拿不到的。
我们实际能优化的，是一个训练出来的奖励模型给出的分数。它是真实质量的代理，记作 r。它是个神经网络 (或者是基于规则的某个函数)，必然不完美。
RL 的作用，就是”用尽全力去优化这个代理”。

所以 reward hacking 并不是什么大模型时代独有的问题，它就是古德哈特定律在 LLM 对齐训练中的一次精确复现。

理解了这一点，问题就从”怎么让 RM 别被 hack”变成了一个更本质的问题：既然代理和真实之间的缝隙无法消除，那么 RL 这个优化器究竟会把哪一道缝隙放大？ 只要能定位到那道缝隙，我们就知道该把有限的标注和资源砸在哪里。

下面内容来自于上述论文的理解，建议看原文，这里我做一个直白的解释。

二、对齐过程具体在优化什么

2.1 对齐的目标函数

标准的 RLHF 要同时满足两个愿望：

让新模型 \pi 生成的回答尽量拿高奖励；
但别跑得离初始模型 \pi_0 太远——跑太远会把预训练学到的语言能力、知识、格式统统丢掉。

“离得远不远”用 KL 散度来度量。于是目标函数写成：

\max_{\pi}\ \mathbb{E}_{y \sim \pi}\big[r(y)\big] \;-\; \beta\,\mathbb{D}_{\text{KL}}\big(\pi(y) \,\|\, \pi_0(y)\big)

系数 \beta 控制”允许跑多远”：

\beta 越大，惩罚越重，新模型越保守；
- \beta 越小，越放开手脚去追奖励。

实践中 \beta 往往设得很小（论文里用的 KL 系数是 0.01），这个数字后面会变得非常关键。

这里有一个几何直觉：给定一个 KL”预算”（我允许模型偏离基座多远），存在一条Pareto frontier——在这个预算下，模型能换到的最高胜率（相对基座模型的胜率）是多少。

整个对齐过程，本质上就是在这条”KL 距离 vs. 真实胜率”的边界上找一个点。理想情况下，多花一点 KL 预算就该多换一点真实质量。

而 reward hacking 的本质，就是这条边界在某个点之后掉头向下：你继续花 KL 预算，代理分数还在涨，真实胜率却开始掉。我们要算的，就是这条真实胜率曲线到底长什么样、被什么决定。

2.2 最优策略：一个指数加权的分布

这道带约束的优化题有一个经典的闭式解。求解用的是大一就学过的拉格朗日乘子法，外加一个约束”所有回答的概率加起来等于 1”。推导过程如下，也可以直接略过看结论（推导是标准的，感兴趣可以自己写两行）。我们构造拉格朗日函数：

L(\pi, \lambda) = \sum_y \pi(y) r(y) - \beta \sum_y \pi(y) \log \frac{\pi(y)}{\pi_0(y)} - \lambda \left( \sum_y \pi(y) - 1 \right)

我们对某个特定输出 y 的概率 \pi(y) 求偏导，并令其为 0：

\frac{\partial L}{\partial \pi(y)} = r(y) - \beta \left( \log \frac{\pi(y)}{\pi_0(y)} + 1 \right) - \lambda = 0

移项并整理得：

\log \frac{\pi(y)}{\pi_0(y)} = \frac{r(y) - \lambda - \beta}{\beta} \implies \pi(y) = \pi_0(y) \cdot e^{\frac{r(y) - \lambda - \beta}{\beta}}

根据指数的运算法则 e^{A-B} = e^A \cdot e^{-B}，我们可以把上式拆开写成：

\pi(y) = \pi_0(y) \cdot e^{\frac{r(y)}{\beta}} \cdot e^{-\frac{\lambda + \beta}{\beta}}

请注意最后一项 e^{-\frac{\lambda + \beta}{\beta}}，这一项中不包含任何代表输出的变量 y。对于当前轮次下的所有可能输出而言，它只是一个固定的常数因子 C。因此，公式可以简化为：

\pi(y) = C \cdot \pi_0(y) \cdot e^{\frac{r(y)}{\beta}}

因为所有可能回答的概率加起来必须等于 1（即 \sum_y \pi(y) = 1 ），我们对上式两边关于 y 求和：

\sum_y \left( C \cdot \pi_0(y) \cdot e^{\frac{r(y)}{\beta}} \right) = 1 \implies C \cdot \sum_y \left( \pi_0(y) \cdot e^{\frac{r(y)}{\beta}} \right) = 1

由此反解出常数 C：

C = \frac{1}{\sum_{y'} \pi_0(y') \cdot e^{\frac{r(y')}{\beta}}}

将 C 代回原公式，我们得到：

\pi_r(y) = \frac{\pi_0(y) e^{r(y)/\beta}}{\sum_{y'} \pi_0(y') e^{r(y')}{\beta}} = \frac{\pi_0(y) e^{r(y)/\beta}}{\mathbb{E}_{y' \sim \pi_0}[e^{r(y')/\beta}]}

分母只是个归一化常数（保证概率加起来是 1），不含具体的 y，可以先不管。真正要看的是分子的结构：

\pi_r(y) \;\propto\; \underbrace{\pi_0(y)}_{\text{基座本来的概率}} \times \underbrace{e^{r(y)/\beta}}_{\text{奖励带来的指数放大}}

这个式子（就是统计物理里的玻尔兹曼分布 / softmax 形式）的含义非常直白：

对齐后，一条回答被生成的概率，等于它在基座模型里本来的概率，乘上一个由奖励决定的放大因子 e^{r(y)/\beta}。

关键在那个指数 e^{r(y)/\beta}。因为 \beta 很小（比如 0.01），指数里的 r(y)/\beta 就被放得很大，于是奖励上的微小差异，会被换算成概率上天壤之别的差异。奖励高一点点的回答，生成概率会高出好几个数量级。记住这个”指数放大”的直觉，它是理解后面内容的切入点。

2.3 对齐训练后的模型，它的期望真实奖励是多少

模型只认代理奖励 r，一门心思往 e^{r/\beta} 大的地方跑。那么在真实裁判 r^\star 眼里，这个对齐后的模型到底几斤几两？

我们需要一个量来描述”代理和真实之间的缝隙”。设一个映射 f，它把真实质量翻译成代理打分：

r = f(r^\star)

也就是说，一条真实质量为 r^\star 的回答，会被我们的 RM 打成 f(r^\star) 分。f 就是古德哈特定律里那道”缝隙”的数学化身：如果 f 是恒等映射（f(r^\star)=r^\star），RM 完美，没有缝隙；f 越偏离恒等，缝隙越大。

为了能算出一个干净的解析结果，这里做两个简化假设：

假设 A：基座模型 \pi_0 采样出来的回答，其真实质量 r^\star 在 [0,1] 上均匀分布。（直觉上是把”任取一条基座回答，它的真实分位”标准化到 [0,1]。这个假设也恰好对应 best-of-n 采样的奖励分布，是有依据的。）
假设 B：代理打分 f(r^\star) 也均匀分布在 [0,1] 上——换句话说，f 只是重新排列了这些回答的名次，不改变分数的整体分布形态。

假设 B 看起来技术性很强，但它带来一个很好的性质：在这两个假设下，可以证明 KL 散度是一个与 f 无关的常数。

意思是，不管你的 RM 犯什么样的错（ f 长什么样），只要 \beta 定了，模型花掉的 KL 预算都一样。这就让我们可以在同一个 KL 预算下公平地比较”不同的 RM 错误会导致多差的真实表现”——变量只剩 f 一个。我觉着这点正是ICLR那篇论文的精巧之处，欢迎拍砖。

好，现在正式来算对齐后模型的期望真实奖励，推一下：

第一步，换个角度看采样。与其对一条条回答 y 求和，不如按它们拿到的代理分数 u=r(y)\in[0,1] 来分组。由假设 B，基座模型里这些代理分数 u 是均匀铺开的（每个分数段的回答数量一样多）。

第二步，加上 RL 的指数放大。由 2.2 的结论，一条拿到代理分 u 的回答，其概率被乘上 e^{u/\beta}。所以对齐后，模型”落在代理分数 u “的概率密度正比于：

p(u) \;\propto\; \underbrace{1}_{\text{基座均匀}} \times \underbrace{e^{u/\beta}}_{\text{RL 放大}}

归一化（除以 \int_0^1 e^{u/\beta}\,du = \beta\,(e^{1/\beta}-1) ）之后：

p(u) \;=\; \frac{e^{u/\beta}}{\beta\,(e^{1/\beta}-1)}

第三步，翻译成真实分数。一条被 RM 打了 u 分的回答，它的真实质量是多少？就是把 f 反过来查：f^{-1}(u) 。（ f 是”真实 → 代理”，那 f^{-1} 就是”代理 → 真实”：给定 RM 打的 u 分，还原它真正值几分。）

第四步，求期望——把每个分数段的真实价值，按模型落在那里的概率加权平均：

\boxed{\ \text{对齐后期望真实奖励} \;=\; \int_0^1 f^{-1}(u)\, p(u)\, du \;=\; \frac{\displaystyle\int_0^1 f^{-1}(u)\, e^{u/\beta}\, du}{\beta\,(e^{1/\beta}-1)}\ }

（在假设 A 下，”期望真实奖励”和”相对基座的胜率”数值上是一回事，所以这条公式同时也是胜率的表达式。）

这就是古德哈特定律在这套设定里的完整数学形态。看着有点吓人，但每一块的含义都很清楚：

u：RM 给出的分数，0 到 1。
f^{-1}(u)：被 RM 打了 u 分的回答，真实价值几分——这是唯一编码”RM 准不准”的地方。
e^{u/\beta}：RL 分配给这个分数段的权重。

2.4 指数权重是极度偏心的

现在把 \beta = 0.01 代进去看看 e^{u/\beta} = e^{100u} 这个权重有多偏心：

代理分 u	权重 e^{100u}	相对 u=1 的占比
0.5	e^{50}	约 10^{-22}（可忽略）
0.9	e^{90}	约 10^{-5}
0.99	e^{99}	约 0.37
1.0	e^{100}	1

结论触目惊心：积分几乎完全由 u \to 1 附近那一小撮”接近满分”的回答贡献。中低分段（ u \le 0.9 ）的权重小到可以直接扔掉——也就是说：

你的 RM 在及格线附近判得准不准，对 RL 的最终结果几乎毫无影响。整个对齐后的真实表现，几乎被 f^{-1}(1) 一个值决定——也就是：那些被你的 RM 判成”接近满分”的回答，在真实世界里到底值几分。

这就是标题里 “chasing the tail” 的全部含义。如果你的 RM 在最高分段哪怕只有一丁点偏差——比如把又长又空、堆满加粗和分点、实则言之无物的回答误判成满分（即 f^{-1}(1) 的真实质量其实很低）——那个 e^{100} 的权重会把这点偏差无限放大，对齐后的真实性能就会很差。反过来，你把中低分段修得再准，也救不了大局。

这条公式还回答了一个更乐观的问题：RM 不需要在所有地方都准。理论分析进一步表明，只要 RM 能把最顶部一小部分回答（比如前 40%，甚至前 10%）的相对名次排对，哪怕它把剩下大多数都判错，在适中的 KL 预算下真实胜率也能迅速逼近最优。这给了我们一个非常明确的工程目标：别追求全局准确率，重点要关注尾部的区分能力。

三、Reward Hacking 的因果链：RM 是静态的，RL 只是放大器

我们讨论 reward hacking 时常觉得是”模型训着训着变差了”。从上面的推导看，因果方向是这样的：

RM 的偏差是预先就存在、且静态的。RL 不制造漏洞，它只负责把漏洞找出来、并指数级放大。
把因果链摊开：

第一环：漏洞早就在那儿。

在 RL 开始前，你的 RM 在测试集上可能有 90%+ 的成对偏好准确率（pairwise accuracy），看起来相当能打。但测试集的数据分布，和 RL 运行时模型探索到的分布，是两回事。

SFT 模型的输出相对保守、集中，很少触碰那些”极端长尾”的生成空间，所以 RM 藏在高分尾部的漏洞一直没被踩到，处于休眠状态。你以为 RM 很好，只是因为还没人往那个角落走。

第二环：RL 是一个高效的、对抗性的搜索器。

一旦 RL 跑起来，它的本质就是在海量可能的生成轨迹里，疯狂寻找能最大化代理奖励的方向。它不理解什么叫”作弊”，它只认 e^{r/\beta} 哪里大就往哪里去。只要高分尾部存在任何一个盲区——

“多加粗、多分点、多写免责声明，哪怕逻辑不通也能拿高分”；
“写得越长，哪怕全是废话，分也越高”；

RL 就会精准地锁定它。

第三环：指数放大 + KL 预算耗尽 = 坍缩。

由第二节的公式，一旦锁定盲区，模型会把概率质量成规模地倾倒进这个 u\to1 的小区间。代理分数一飞冲天，真实质量（ f^{-1}(1) 很低）却跟着崩盘。曲线在帕累托边界上掉头向下，这就是我们观察到的”分涨质跌”。

\text{静态的高分段漏洞} \;\longrightarrow\; \text{RL 搜索发掘漏洞} \;\longrightarrow\; \text{指数权重放大} \;\longrightarrow\; \text{真实质量坍缩}

想清楚这个，我们能做的也就很清楚了：既然 RL 迟早会摸到尾部，我们唯一能做的，就是让 RM 在尾部无懈可击——在最优秀的那批回答里也能分出高下。

四、为什么传统奖励模型难解这道题

明确了目标是”死磕尾部区分度”，接下来的问题就很具体了：怎么造一个在高分尾部特别准的 RM？

4.1 尾部数据天然稀缺，不得不用 off-policy 数据

要让 RM 学会区分”顶尖回答”，你得先有一批顶尖回答喂给它。但顶尖回答从哪来？如果只从基座模型自己采样（on-policy），基座模型很少产出尾部样本，采样效率极低，你捞半天也捞不到几条真正好的。

于是自然会想到用 off-policy 数据：用更强的前沿模型生成的高质量回答、或者对已有回答做精修重写，直接把尾部”喂”给 RM。数据来源的问题解决了。但新的问题冒出来了。

4.2 传统 Bradley-Terry 模型的陷阱：它会去学”文风”

主流的偏好奖励模型走的是 Bradley-Terry（BT）路线：给一堆”回答 A 优于回答 B”的成对偏好数据，训练一个神经网络，输入 prompt 和 response，输出一个标量分数，使得好回答分高、差回答分低。

问题在于，BT 模型是一个平滑的、缺乏结构约束的黑盒。当你拿前沿模型生成的 off-policy 高质量数据去训它时，它会走一条最省力的捷径：与其费劲去理解”这个回答的推理为什么更严密、事实为什么更准”，不如直接去拟合这些强模型输出里最表层、最好抓的统计特征——高频词偏好、markdown 排版习惯、语气腔调、篇幅长度。

这些风格印记（stylistic artifacts）和”回答质量高”在训练数据里高度相关，黑盒模型分不清哪个是因、哪个是果，索性把”文风”当成了”质量”的代名词。

论文里做了一个很干净的对照实验：他们用前沿模型的 off-policy 优质回答去训一个 BT 奖励模型，结果不但没提升，反而拖垮了下游表现；

进一步分析发现，加了 off-policy 数据后，模型在”能骗过 LLM 裁判的胜率”上是涨的，但在客观的能力基准（HealthBench）上并没有涨——这恰恰说明它学到的是”讨好裁判的表面特征”，而不是真实能力。

（这不代表 BT 模型永远学不会 off-policy 数据，而是它的泛化严重依赖数据规模——业界能用好 off-policy 的方案，往往堆到了千万量级的样本。对多数垂直领域，这个数据量根本凑不齐。）

于是当模型用这样一个”只懂文风”的 BT 模型做 RL 时，它学到的只是如何完美模仿强模型的腔调，而不是强模型的推理内核。这正是 reward hacking 的一种典型形态。

4.3 换个思路：把评价拆成显式、可验证的细则

目前大家的思路是：把评价维度显式地拆成一组客观的、二值（0/1）的判据。这就是 rubric-based reward。

对每个 prompt，先由一个 LLM 生成一份评分细则（rubric）——一组具体的判据 c_i，各带权重 w_i；再由一个轻量的验证器（verifier，通常也是个 LLM）逐条判断某回答是否满足。最终奖励就是满足项的加权平均：

r(x, y) \;=\; \frac{\sum_i w_i\, V(x, y, c_i)}{\sum_i w_i}, \qquad V(x, y, c_i) \in \{0, 1\}

举个医疗问诊的例子，细则可能长这样：

c_1：是否给出了正确的最可能诊断？（权重 3）
c_2：是否明确指出这是需要紧急处理的急症？（权重 3）
c_3：是否给出了合理的鉴别诊断？（权重 2）
c_4：是否包含了不必要的免责声明？（权重 1，满足反而扣分）

关键在于：每一条判据都是具体的、事实性的、可核验的。验证器只能针对”有没有提到某个具体的诊断 / 检查 / 逻辑”作判断，而没法通过”把排版做漂亮、把语气调谄媚”来蒙混过关。

这也是 RLRR 相比 BT 模型的优势：它对无关的风格特征天然不敏感，因此用 off-policy 数据时不容易被带偏。

五、细则需要学会区分”优秀”与”卓越”

细则奖励堵住了文风漏洞，但它自己还有一个瓶颈，而且恰好撞在我们最在意的尾部上：粗粒度的细则会在高分段制造大量平局（tie）。

设想两条都很优秀的医疗回答，都答对了主诊断、都提示了急症。如果细则只有”是否正确诊断”“是否为急症”这种粗判据，两条回答会拿到完全相同的满分。但其中一条可能在鉴别诊断的深度、或急症处置的关键动作上，明显更胜一筹。

细则分不出这个高下——而由第二节我们知道，尾部一旦分不出高下，RL 就在最该发力的地方失去了方向，转而去优化那些细则没覆盖到的、可以钻空子的维度。

论文提出的解法叫 RTD（Refinement-through-Differentiation，通过区分来精化细则）。它的想法朴素而对症：既然平局出在尾部，那就专门拿尾部的样本去逼细则学会区分。一轮 RTD 大致是这样：

1、备一个多样化的候选池。对每个 prompt，从一批不同的前沿模型（论文用了 16 个，涵盖 GPT-5、o3、Claude-Sonnet-4、Gemini-2.5-Pro、DeepSeek-R1、Kimi-K2、GLM-4.5、Qwen3 等）采样候选回答，保证质量高且风格多元。

2、抽出尾部。用当前细则给所有候选打分，挑出并列第一或最接近第一的两条——注意，是”两条都很好”的一对（great pair），不是”一好一坏”的一对。

3、强制区分。把这两条顶尖回答一起丢给一个 proposer LLM，命题式地问它：”这两个都非常好，但究竟哪个更好？说清楚支撑更好那一个的具体、可验证的判据是什么。”

4、回填细则。把 proposer 挖出来的那条微观差异，编码成一条全新的二值判据，加进细则集。
这样迭代下去，模型会在”天花板对天花板”的比较中，自动挖出那些极其隐蔽的、决定”卓越（excellent）”与”优秀（great）”之别的判据——不需要人工去一条条撰写。

论文里有个特别能说明问题的真实例子。一道医疗题：一名年轻女性，反复内眦疼痛、长期用减充血剂，现出现寒战、复视、视盘充血。两条来自同一强模型的回答都答对了主诊断”海绵窦血栓（CST）”、都说了是急症——初始细则下二者打成平手（都是 18/20）。RTD 让 proposer 对比这两条后，加进了一条新判据 c_7：

“回答是否提到需要紧急影像学检查（增强 CT 或 MRI/MRV）来确认诊断？”

这是一条真正有临床分量、且客观可验证的动作，而只有其中一条回答满足了它。加上这条（以及另外几条区分判据）之后，细则给出的分数变成了 25⁄27 对 22/27——平局被打破，尾部重新有了梯度。你会注意到，这类精化的方向是”强化验证与证据标准”“把复杂判据拆成子成分”这种深层的改进，而不是”补个明显的错”“放宽一个过严的条件”这种表层修补。

六、论文里的实验告诉我们什么

论文在综合域、医疗域、金融域三个方向上做了 RL 对齐实验（基座是 Qwen3-8B-Base，用 GRPO 训练，胜率对标 Qwen3-8B）。

为了排除”出题的和判卷的不是同一个人”带来的混淆，实验采用了合成裁判设定：让一个强模型（GPT-4.1）既负责生成细则、又当最终裁判。这样比较的就是细则构造策略本身的好坏。几个结论我觉得对实践很有指导意义：

其一，区分”极优秀”确实比区分”及格”值钱得多。

用”两条都极优秀的回答”对比精化出的细则（great pair），在 RL 后拿到的真实胜率和客观基准分，明显高于用”一好一坏”对比精化出的细则（good-bad pair）。

这直接印证了第二节的结论——RL 要的不是照亮及格线的灯，而是照亮金字塔尖那一小片的探照灯。

其二，尾部区分本身是真的难。

有个数字很清醒：即便用了最好的细则，在高分段的成对判准率也只有 50% 上下（平局按判错计），而在低分段轻松就有 66%–70%。这说明”在顶尖回答里分高下”是一件本质上很困难的事——也正因如此，任何能把高分段准确率哪怕只抬高几个点的方法，都值得投入。

数据还显示：good pair 主要提升的是低分段准确率（帮不到尾部），great pair 才提升高分段准确率——两者提升的根本不是同一个地方。

其三，多样化的 off-policy 候选池是天然的”防腐剂”。

只用单一强模型的输出去精化，得到的细则难免带上那个模型特有的偏好烙印；而用十几个不同前沿模型混合出的候选池做 RTD，得到的细则明显更鲁棒。不同模型之间的风格差异互相抵消，沉淀下来的才是更接近本质的逻辑判据。

其四——也是最需要冷静对待的一点——reward hacking 被延缓了，但没有被终结。

从 training 曲线上能清楚看到：用初始细则的方案，指标很快见顶然后快速回落（典型的 reward hacking）；而用迭代精化 + 多样化的方案，能把高胜率维持得久得多，hacking 要到很晚才隐约出现。但它终究还是会出现。

原因也不难理解：验证器 LLM 自己的认知能力有上限，只要细则是静态固定的，在近乎无限的 RL 搜索空间面前，模型迟早能摸到新的边界。

所以更诚实的表述是：古德哈特定律在这套框架里没有被推翻，只是被推迟了。我们能做的，是尽力延缓它的发作，从而在它崩盘之前，在帕累托边界上找到一个足够好的截断点停下来。这本身已经很有价值——多跑几百步不崩，往往就是能用和不能用的区别。

七、回到古德哈特

把整条线收一下：

reward hacking 是古德哈特定律的一次精确复现——代理奖励和真实奖励之间的缝隙，被 RL 这个优化器专门找出来放大。

第二节的结论显示，被放大的不是任意一道缝隙，而是最高分尾部那一道：由于 e^{r/\beta} 的指数偏心，对齐后的真实表现几乎只由”被判成满分的回答到底值几分”决定。这就把一个模糊的”RM 不够准”，收敛成了一个精确的工程目标——重点要放在尾部区分度。

传统 BT 模型在这件事上会去学文风而非逻辑；细则奖励从结构上堵住了文风漏洞；RTD 则进一步逼细则在尾部学会区分”优秀”与”卓越”。

那么，站在古德哈特的视角上，实际做 LLM 对齐时该往哪走？我倾向于下面三点，也欢迎被反驳：

软硬结合，别指望单一 RM。

一个更大更重的黑盒 BT 模型，边际收益已经在递减。更可行的组合是（这个也是业界的通常做法）：用一个或多个轻量、对文风情商敏感的 BT 偏好模型去管流畅度和语感这类”软”目标；

同时用一个或多个结构化的、RTD 自动精化的细则去锁死事实正确性、计算逻辑、安全底线这类”硬”目标。让两者各管各擅长的那一半。

让 rubric 跟着 policy 一起进化（rubric-policy co-evolution）。

既然静态 rubric 迟早被 hack，那能不能在训练回路里让 rubric 动态进化？当 policy 变强、它的输出和当前最强 off-policy 样本在高分段再次打平时，自动触发一次 RTD，把更微观的新判据加进评分池。这种”水涨船高”的对抗式共同进化，也许比任何静态方案都更接近根治——代价是工程复杂度和算力开销。

别困在 self-grading 里，能接外部反馈就接。

让 LLM 给自己写细则、又给自己判分，终究有循环论证的成分——验证器的认知上限，就是整套系统的上限。凡是能挂上确定性外部信号的地方（编译器 / 单测、数学求解器、可信事实源的检索核验），都应该尽量把细则奖励和它绑定。可验证的环境，才是模型真正长出自我纠错能力的地基。

我们得理解到：在这套范式里，古德哈特定律不是一个可以被某个算法一劳永逸解决的 bug，它更像是”用代理指标去优化真实目标”这件事的结构性代价。只要我们还在用一个可优化的指标去逼近一个不可直接触及的目标，hacking 就一定存在，足够强的优化器就一定会去找它。

RTD 这类方法真正的贡献，不是消灭了这条定律，而是把它从”训练几十步就崩”推迟到”能安全地多跑很久”——在工程上，这个已经够了。

说到底，对齐更像一场需要持续投入、反复校准的长期博弈，而不是一道有终局解的题。模型会忠实地放大我们在定义目标时留下的每一处含糊与偏见——从这个角度看，”chasing the tail”与其说是一个算法命题，不如说是在提醒我们：真正难的从来不是优化，而是把”我们到底想要什么”说清楚。

大模型对齐中的古德哈特定律：为什么你的 Reward Model 总是被 “Hack”？