关于缩放定律（Scaling Law）的讨论并不少，但这篇的难得之处，在于它把来龙去脉讲清楚了：Kaplan 的 2.7:1 怎么让整个行业走上万亿参数的弯路，Chinchilla 怎么在四百个模型上纠偏，推理成本又是怎么把最优解推向"更小、但训练得更久"的模型，再到 MoE 里总参数与激活参数的分家。每一步都不是孤立的数字，而是同一个问题的不同侧面：参数之外，还有数据、算力、部署条件。

这篇文章出自唐杰教授（清华大学教授、智谱 AI 首席科学家）之手，是他为 GLM-5.3 发布亲自写的思考，昨天刚在 X 上发布。

文章里最打动我的一句话是："缩放，但不只是参数的缩放。" 而 GLM-5.3 又把整篇论证收成了一个受控实验——同样的基座、同样的架构、同样的总参数和激活参数，只改后训练，收益却不是边际性的。

我尤其认同它的落点：发现漏洞不是检索问题，而是一条二十步的推理链能不能走到终点，这种能力不在总参数里。 做安全、做 Agent、做长程推理的朋友，应该都有同感。

欢迎在评论区聊聊你的看法。

正文

缩放，但不只是参数的缩放。如今每次模型发布，最后都会落到同一个问题上：多少参数？但这个问题没法单独回答。参数数量只有和另外三件事放在一起才有意义：你有多少数据、打算把算力花在哪里，以及谁来运行这个模型、在什么条件下运行。

这个道理是行业用教训换来的。Kaplan 等人（2020）拟合出一个指数，告诉所有人参数的增长速度要快于数据，大约是 2.7:1，业界照做了：GPT-3、Gopher、MT-NLG。Hoffmann 等人（2022）在四百个模型上重做了这个实验，发现计算最优的配比更接近每个参数 20 个 token，而且在算力充足的情况下，两者应该以相同速率增长，而不是越拉越开。

早期拟合的误差会随着算力每提升一个数量级而不断放大，这正是那一代最大的模型资源错配最严重的原因。回过头看，万亿参数那一轮是整个行业一起走的一段弯路，之后又一齐折返。

Chinchilla 也不是终点。它优化的是训练算力，针对的是那些训练一次、评估一次就完事的模型。如今一个模型一天要被调用数十亿次，推理成本占据了整个生命周期的大头。把推理放进目标函数里，最优解就会移向更小、却训练得更久的模型，也就是刻意的过训练（deliberate over-training）。 Llama-2-7B 和 Gemma-2-9B 走的就是这条路，每个参数分别对应大约 290 和 889 个 token。

稀疏性又把目标移动了一次。在 MoE（Mixture of Experts，混合专家）模型里，有两个量必须分开看：总参数（total parameters）大致决定模型能装下多少东西（知识、事实、长尾）；而激活参数（activated parameters）和有效深度（effective depth）大致决定它能想多远，能在一条因果链上走多少步才散架。 稠密模型的 20:1 比例并不能直接照搬。

而且这个比例根本不是单一数字：Roberts 等人（2025）发现最优的每参数 token 数（tokens per parameter，TPP）是任务相关的，记忆类任务偏爱更多参数，推理类任务偏爱更多数据。后续针对 MoE 的工作观察到，在 TPP 固定的情况下，把总参数推得更高反而会损害推理能力，而激活更多专家则稳定地带来帮助。

这对我们正在做的事很重要。发现漏洞不是一个检索问题。它不来自多背了几条 CVE，而来自把一条二十步的推理链完整带到终点、中途不丢线。这种能力并不存在于总参数数量之中。

这就说到本次发布了。总参数的作用似乎存在一个阈值，大到足以装下这个世界之后，额外的能力就来自别处的缩放：每次前向传播的有效深度，尤其是后训练。

GLM-5.3 就是我们对这个判断做的受控实验：基座相同、架构相同、总参数和激活参数都与 GLM-5.2 相同，差别只在于花了一个月的时间在长程（long-horizon）环境和强化学习（RL）上做缩放。收益并不是边际性的。

缩放其实不止一个旋钮。 这次我们拧的是后训练这个旋钮，因为它留下的余量最大，并不是因为其他旋钮已经到头了。基座模型规模、预训练数据、每次前向传播消耗的算力，这些都还摆在桌上，我们会一一回来处理。

这个实验教会我们的是：旋钮不必同时拧，而且下一个值得拧的旋钮，很少是上一个值得拧的那个。 我们还没有停止缩放。下一次，也许是中训练（mid-training）、预训练，甚至更多。

核心要点

1、 参数数量不是孤立指标，必须与数据量、算力投向、部署场景（推理成本）一起看。

2、 万亿参数是弯路：Kaplan（2020）的 2.7:1 配比有误，Chinchilla（2022）证明计算最优约为 20 token/参数，且参数与数据应等速增长；误差随算力数量级放大，导致当时最大模型错配最严重。

3、 推理成本改变最优解：模型每天被调用数十亿次，推理主导生命周期成本，最优解移向更小但训练更久的模型（刻意过训练，如 Llama-2-7B ≈ 290 token/参数、Gemma-2-9B ≈ 889 token/参数）。

4、 MoE 中总参数与激活参数分家：总参数（total parameters）决定"装多少"（记忆），激活参数（activated parameters）与有效深度（effective depth）决定"想多远"（推理）；最优 token/参数比是任务相关的，固定 TPP 时堆总参数反而损害推理，激活更多专家才可靠地提升推理。

5、 发现漏洞不是检索问题，而是携带二十步推理链的能力，不取决于总参数数量。

6、GLM-5.3 是受控实验：与 GLM-5.2 同基座、同架构、同参数，仅靠一个月长程（long-horizon）环境 + 强化学习（RL）后训练获得显著提升，验证"阈值之后能力来自有效深度与后训练"。

7、 缩放有多根旋钮，不必同时拧：下一个值得拧的旋钮，很少是上一个值得拧的那个；后训练之后还会回到中训练、预训练等方向。