作者：华裳羽照
https://zhuanlan.zhihu.com/p/2061464412574242573

以 Kimi K3 与 Nemotron 3 Super 为例，看 MoE 架构如何在 2026 年完成一次关键的范式跳跃。

2026 年上半年，两件事同时发生：NVIDIA 发布了 120B 参数的 Nemotron 3 Super，Moonshot AI 发布了 2.8T 参数的 Kimi K3。两个体量差距悬殊的模型，却在架构上做了同一个选择——Latent MoE（潜在 MoE）。

在长远来看，潜在moe架构作为业界实现简洁，而性能高效的架构值得每个正在做基座模型的学者关注。

MoE 遇到了什么问题？

过去几年，MoE 成为大模型扩展的主流路径。道理很直接：激活参数少，总参数多，计算量可控，能力却能堆得很高。DeepSeek-V4、kimi、Qwen3 都走的这条路。

但随着模型越做越大，一个隐藏的结构性问题开始显现。

每当一个 token 被路由到某个 Expert 时，系统需要从内存里把那个 Expert 的权重矩阵读出来——大小是 d × m，其中 d 是模型的隐藏维度。对于一个现代大模型，d 通常在 4096 到 7168 之间。同时，在多机分布式部署时，每次路由还需要做一次 All-to-All 通信，传输量也正比于 d。

当你想激活更多 Expert（提升质量）的时候，这两个开销都会线性放大。这就是传统 MoE 的结构性困境：你想更好，但代价太高。

NVIDIA 的研究者把这个问题分析得很透彻：如果想同时解决延迟和吞吐两个方向的瓶颈，唯一有效的切入点就是把隐藏维度 d 缩小。但 d 不能随意缩——模型的特征表达需要足够的维度，否则质量会崩。

这个约束下，LatentMoE 的思路就很清晰了：不要直接缩小 d，而是在进入 Expert 之前，先把 token 投影到一个更小的潜在空间 ℓ 里，让 Expert 在这个压缩空间里完成计算，最后再投影回来。

LatentMoE 具体怎么做

操作上分三步：

• token x（维度 d）通过一个可学习的下投影矩阵 W↓，压缩到低维潜在空间 ℓ（比如 1024，是 d 的四分之一）
• 在 ℓ 维度里完成路由和 Expert 计算
• Expert 输出再通过上投影矩阵W↑ 投影回 d 维度

核心收益来自这个压缩比。Expert 的权重从 d×m 缩小到 ℓ×m，内存读取少了 4 倍；All-to-All 通信量也少了 4 倍。这 4 倍的节省用来做什么？用来部署更多 Expert，同时激活更多 Expert。

这就是 LatentMoE 的精髓：同等推理成本下，你能让模型同时咨询 4 倍多的专家，专家组合的空间指数级扩大，自然对应更细粒度的知识路由和更强的模型能力。

值得注意的一个细节：路由门控（Gate）、共享 Expert、注意力层，这些”非路由”的计算都保持在完整的 d 维度上，因为它们不是瓶颈所在，不值得为了压缩损失表达能力。

LatentMoE 真的更好吗？有数据

这是一个很自然的疑问：压缩进潜在空间，信息损失了，准确率会不会下降？

NVIDIA 的 LatentMoE 原论文给出了明确的对比结果。在相同参数量的 Transformer MoE 基线上，LatentMoE 在所有评测任务上准确率均更高——包括推理、知识、代码等维度。在 Hybrid Mamba-Attention MoE 架构上也复现了同样的结论。也就是说，同等参数量、同等推理成本，LatentMoE 的准确率稳定优于标准 MoE。

更直观的数据来自万亿参数规模的推算：如果标准 MoE 想追上 LatentMoE 的准确率，需要额外多堆 350B 参数。反过来理解，在准确率对齐的情况下，LatentMoE 推理速度最高可以快 3.5 倍。

当然，LatentMoE 不是免费的——它需要在 Expert 路由前后各加一层线性投影。但这个额外开销经实测约为 9%，远小于标准 MoE 追上精度所需的参数成本。一个 9% 的开销换来持续的准确率优势，这笔账算下来是非常划算的。

两个团队的不同实践

Nemotron 3 Super 的配置是 512 个 Expert，每个 token 激活 22 个（Top-22），潜在维度 ℓ=1024，相当于 d/4 的压缩比。对比类似规模的标准 MoE（通常是 Top-8），这意味着在相同推理成本下激活了将近 4 倍的 Expert。

NVIDIA 还配套了几项关键设计：Mamba-2 层承担主要的序列建模（线性时间复杂度，让 1M 上下文变得实用），少量 Transformer 注意力层作为”全局锚点”（处理需要精确关联召回的任务），以及共享权重的 Multi-Token Prediction 头（用于投机解码，平均接受长度 3.45，超过 DeepSeek-R1）。最终结果是：推理吞吐是 GPT-OSS-120B 的 2.2 倍，是 Qwen3.5-122B 的 7.5 倍，而准确率基本持平。

Kimi K3 把这件事做到了更极端的规模：896 个 Expert，每个 token 只激活 16 个（Top-16），稀疏比达到 56:1。在这种极端稀疏度下，Expert 负载均衡变成了训练能否稳定的核心问题。

K3 为此专门提出了 Quantile Balancing——不依赖启发式更新，直接从 Router 的 score 分位数推导专家分配，消除了传统方法里那些敏感的超参数。这使得在 2.8T 参数规模下保持训练稳定成为可能。最终收益是相对 Kimi K2 约 2.5 倍的 scaling efficiency——同等 compute 换来更多智能。

两条路线，同一方向

NVIDIA 的路线可以概括为”效率智能”——在尽量小的激活参数里装入尽量强的能力，适合高并发、低延迟的推理场景。Kimi 的路线是”极致规模”——用 LatentMoE 解锁了 2.8T 参数的训练可行性，用 Quantile Balancing 维持了这个规模下的训练健康。

但两者的底层逻辑是一样的：通过压缩 Expert 的计算维度，把省下来的资源转化为更大的专家组合空间。

往前看

LatentMoE 解决了一个具体的工程瓶颈，但它本身还有很大的提升空间。

当前实现用的是固定的压缩比（d/ℓ 是预设值）。一个自然的延伸是让压缩比变得自适应——对于信息密集的 token，保留更多维度；对于简单 token，压缩得更彻底。这在理论上能进一步提升效率，而且实现并不复杂。

在路由端，K3 的 Quantile Balancing 把负载均衡从”带超参数的黑盒”变成了”基于统计的确定性过程”。这个思路的泛化版本——比如多头路由、基于内容的动态 Top-K——可能是下一步值得实验的方向。

在训练端，NVIDIA 发现 NVFP4 训练到后期会出现约 7% 的零梯度参数，这其实是低精度训练下”结构化稀疏性自然涌现”的现象。与其把这视为问题，倒不如在架构设计时主动利用它——专门设计感知这种稀疏性的 Expert 结构，可能是一条新路。

更长远来看，LatentMoE 和线性序列建模（Mamba、KDA 这类）的结合，让”1M token 上下文 + 稀疏激活”不再只是实验性的设想，而是真正可以产品化部署的能力。

这为下一代 MoE 架构提供了一个清晰的基础：用线性序列模型处理长程依赖，用 LatentMoE 扩展知识容量，用低精度训练降低计算成本——三者叠加，正在成为行业的新默认选项。