在具身智能快速发展的背景下，视觉-语言-动作（VLA）模型已成为机器人自主操控的核心研究方向。

当前挑战：主流 VLA 方案多聚焦动作拟合与模仿学习，往往弱化了语言理解、常识推理与开放泛化能力。

核心矛盾：通用 VLM 与具身 VLA 数据存在显著表征鸿沟，直接制约了模型的泛化性能与落地效果。

7月4日，青稞Talk 135 期邀请到复旦大学硕士研究生张世铎，围绕主题《如何设计一个好的自回归 VLA：从问题构建到工程落地的探索之旅》进行了深度分享。

本次分享系统论证了自回归 VLA 相较于 Flow 流派在语言继承性与泛化能力上的天然优势。它围绕动作编码缺陷提出了 FASTER 与 Action Codec 方案，解决了重建精度低、词表分布不均与跨设备语义不统一等问题。随后又创新性提出了 ETC 分阶段训练范式，通过多阶段表征对齐弥补 VLM 与 VLA 的表征 Gap，有效提升模型的组合泛化与分布外鲁棒性。

分享总览

大家好，我是张世铎，今天也非常荣幸跟大家分享过去两年我在自回归 VLA 方向完成的研究工作与相关思考。

研究框架：我把这两年的研究工作总结成了四个板块。今天主要介绍前三个板块，完整覆盖自回归 VLA 从任务定义、建模到训练的完整研究脉络。

路线规划：这个 Roadmap 是我在入学之前就已经定下来的。它围绕数据的 Scaling、模型设计以及后训练方案展开，我把它总结为 Three Principles：Scaling、Simple 和 Search。

做具身或做基础模型，确实是一件非常系统性的工作。除了要定义要解决什么样的任务和问题之外，还需要从数据、评测模型和训练 Recipe 多个角度来推进。接下来这三个方面，基本上就对应了我左下角这部分的一开始的这些定义。

VLA 定义与评测基准

首先是从定义和 Benchmark 角度来去出发，讲一下我为什么要做自回归 VLA 。

那首先我们，在讲 VLA 之前先思考一个问题：我们该怎样去定义 VLA？如果回看 VLM 或 LM，就会发现它们为什么是跨时代的分水岭，也为什么能被称为一场革命。

VLM 具有非常多的特性，尤其是所谓的涌现能力。我把它概括为三个维度：准确率、泛化能力与通用能力。

在 VLM 里，它通常具备理解丰富语言表征、复杂视觉场景、世界知识和常识的能力，同时也具备空间理解、物理规律理解以及 Reasoning 能力。若想在 VLM 的基础上训练 VLA 或基础模型，我们就不可避免地要继承这些能力。

但很显然，当 VLA 这个概念进入大家视野时，像 3D VLA、OpenVLA、π 这类方案，从根上更强调动作拟合、建模和 Skill acquisition，往往忽略了高层智能。

你会发现大家对任务的定义，还是局限于 Skill 学习、或者更大规模 Imitation Learning，而不是真正的基础模型需要的通用能力。

24 年二三月，OpenVLA 都还没发布的时候我就启动了相关研究，把上述全部思考落地到 VLABench 里面去。

这里我想强调一个点，因为仿真毕竟只能做一些刚体的 pick-and-place 为主。我认为是一些简单的行为，要有非常丰富的智能。

比如说第一个图，其实是对丰富纹理，第一个任务对丰富纹理的认知，比如说你这个书名它要求什么？要求你继承 VLA 的 ORC 能力，是非常复杂的纹理，这个尤其在低分辨率的情况下，它能不能做成非常考验你模型本身的能力，所以这个是偏视觉的一个任务。

第二个任务是 Common sene ，比如说我说你要抓谁？Thor‘brother，那 Thor‘brother 是谁？洛基，这就需要一步 Common sene 推理。

再比如 Spatial understanding，拿试管举例，指令告知是第几排第几个、或是某人的试管、左右这类相对位置关系，同样需要一步空间推理。

第四点是 Semantic 层面，对语言的表征理解必须足够鲁棒且信息完备。举个做饭的例子，人说感觉菜品味道有点淡，模型要从这种隐性表述里揣摩真实操作目标。不像现在用 Cloud ，使用者自身都不清楚具体执行方向，还要依靠模型反向拆解、梳理使用者的需求与任务。这类能力后续也需要在机器人领域落地实现。

第五点是 Physical understanding，掌握基础物理规则，同时完成长距离、多维度多类型推理的组合运用。这些是当时最早是在 VLABench 里边定义的。

当把这些问题明确界定后就能发现，此前行业里研发的 VLA、WAM 等方案，其实并没有针对性解决这类核心问题。比如说在两年前我提出的这些像 Reasoning，或者说是 Language Following，Semantic Understanding，你会发现大家一直以来就不太重视这些问题，特别是关于语言。

既然作为 VLM，还搭载这么大一个 LM Backbone，它最大的优势其实就体现在 Language 上。

事实上目前只有 Language 领域诞生出了真正意义上的智能与涌现能力，哪怕是视频生成，甚至加了 VLM 加了 Vision 后，整体智能表现都会大幅缩水。

我的观点还是，如果将 VLM 用作 Backbone，就必须重点强化 Language Understanding 能力。但在以往 Robotics Native 相关研究中，Language 部分长期被忽略，研究人员基本不会关注 L 这一模块。

**举个简单例子，比如 Libra，无论是去掉 Vision 只输入 Language，还是完全不输入 Language、仅依靠 Vision，任务成功率依旧可以达到 90%。**这本质是任务定义与 Benchmark 架构设计造成的问题。其实我两年前就已经打算不再使用 Libra，但它反倒借着 VLA 热度流行开来。

我搭建 VLABench 的时候，Libra 的使用量仅有三十多，如今预估已经上千，这件事非常值得深思。

这也是研究 VLA 需要考量的关键因素。当时除了依托 VLA 对 Foundation Model Policy 开展评测，还针对 Workflow、VLM 设计了相关评测体系，这部分就不细展开。

最开始我使用仿真环境开展实验，后续却不再沿用仿真方案，这和我当时的研究目标息息相关。

首先聊聊对仿真的定位：并不是仿真无法做到照片级真实渲染，它完全可以实现高度拟真。但只要实际开发过仿真系统就能发现，仿真的开发成本甚至高于扩充真实场景数据多样性的成本。

所以我认为，仿真在很长一段时间内只会作为原型验证工具存在。 我最初搭建 VLABench 本意也并非打造评测工具，核心是确立标准化任务范式、抢占研究赛道定位。

另外前面也提到过，VLABench 本身就是一套体量规模极大的仿真平台，有非常多的任务，这个任务现在有 Cloud Code 加持，它可以无限的扩充，因为我们的 Software Layer 是定义的非常好的，所以说 2.0 我已经交给我的师弟师妹们来继续推进，可能在暑假后会有一次大的更新。

然后包括就是你相当于对这种物体的组合，你对软件层的开发足够的精准，你的任务种类和 Diversity 是相对可控、非常多样的。那这个事适合什么？

就比如说后来还做了数据的 Automation。做了数据的 Automation 就说明我们至少可以通过仿真的并行来大规模的生成仿真数据，那么从原型的角度来考虑，我当时希望解决什么问题？

第一是通过 VLABench 去初步的探索 Scaling 的问题，适配各类架构，因为当时架构还没有收敛，我做 VLA 的时候甚至还没有出现不同的架构。那哪个架构能跑出优势，如果能跑出优势的话，那 Scaling 的曲线是否是正常的？以及如果这个 Scaling 确实存在的话，我们就可以放心大胆的迁移到真实世界了，真机数据比我想的来得快太多了。

比如说当时做完之后，智源就放出了一百小时左右的真机数据，基本上就直接把原有方案给超越了。从 Scaling 角度来讲，仿真也可能只能作为辅助数据，中间阶段可以用来做 Co-Train，这也是出于组合泛化的考量。

VLA 里的 Action 空间其实并没有大家想象中那么庞大，即便它属于连续动作，整体分布维度并不算高；真正分布复杂度极高的部分全部集中在 VL 模块。想要训练出优质的 Foundation Model，V 与 L 侧的数据多样性必须拉满，这也是当初搭建 VLABench 的另一重初衷。

总而言之，当时实测在 8 张 H100 显卡上，单日即可生成 200 小时完全不重复的仿真数据，这都是依托 VLABench 平台实现的。

但作为评测基准， 业内实际使用量并不算高，主要原因是该基准提分难度大。Touch 版本本身存在一定性能缺口，Benchmark 版本任务难度偏高，同时评测目标和多数团队的研发需求存在偏差。

这套基准核心用于检验模型的泛化能力、Zero-Shot 能力、语言理解与 Reasoning 推理能力。早期我甚至没有针对 Composite 复合任务做更深层次拓展，早期 OpenVLA 这类主流模型在该基准上成功率普遍偏低。直到 π 架构问世，我发现了一个很关键的现象。

我们做过两组对照实验：一组从零开始 Scratch 预训练，使用 200 小时或是 1000 小时 VLA 数据集；另一组基于已有大模型做少量数据 Post-Train 微调。最终结果指向 PyFAST 架构，以 Auto-Regressive 自回归范式为核心的 PyFAST 模型，在 Common Sense 常识推理、Program Score 程序得分两大维度，效果显著优于 Flow Matching 流匹配方案，在语言鲁棒性、Language Following 指令跟随上具备天然优势。

本质原因在于 AR 模型沿用 Next Token Prediction 下一词预测作为训练目标，能够更好地继承并保留原生语言模型的语义理解架构特性。这也是我后续坚定选择 AR 技术路线的核心契机。

整套评测平台由我主导搭建，实验环境与数据结论可控性最强，也让我确认 AR 路线在此类任务上具备先天优势，抛开 FAST 动作分词模块不谈，AR 范式本身就拥有不可替代的适配性。后续开展的多轮 Scaling 缩放实验可以看出，即便早期模型仅使用十小时至数百小时、未达千小时量级的数据，各类方案都能呈现不错的数据缩放收益，但我始终坚信 AR 路线的 Scaling 潜力无需质疑，毕竟 LLM 大语言模型领域已经充分验证过这套缩放规律。

刚才提到的，如果我们认为，视频生成不是真正的智能，那视频生成是依靠 Flow 实现的。

而 Flow Matching 之所以很难产生智能、无法涌现出能力，根源大概率出自整体训练目标本身：其一就是结构头轻脚重。输入一段 Prompt，就要生成信息密度极高的图像与视频，这类任务本身对自回归范式来说本就难以适配，这点可以后续再展开探讨。

Action 编码方案

我发现 AR 更加贴合我对任务问题的界定，也更贴近我们想要解决的目标。既然行业内大多团队都在做 Flow Matching，那我们就换一条差异化路线，研发自回归架构的 VLA。

自回归式 VLA 本身架构足够简洁，同时具备诸多优势。首先，它的 Zero-Shot 泛化能力往往更强；其次，训练过程稳定性更高，收敛速度也更快。更关键的是，Next Token Prediction 这一训练范式，能够完全兼容过往所有 VLM 与 LLM 的成熟体系。

这带来两点直接收益：一是 Tree Search、CoT、In Context Learning 等算法范式与工程基础设施，可以无缝迁移到自回归 VLA 体系中；二是如果我们还在纠结何种架构与训练方案适合做 Scaling，答案已经很明确——Autoregressive。大语言模型领域已经充分验证了这条路径。

顺带补充一点题外话。前文提到的视频生成模型属于典型的头轻脚重结构，而 LLM 则更接近输入与输出文本量相近、整体结构均衡的情况。反观现阶段主流 VLA，输入视觉信息 V、语言信息 L，最终输出一段 Action 序列或子任务指令，整体生成逻辑仍然属于头重脚轻的范式。

这类任务的输出动作空间简单、维度偏低，天生更适配 AR 方案。

我们在另一篇名为 One Step Flow Matching 的工作中也佐证了该逻辑，这类头重脚轻的任务场景下，Flow Matching 反而属于大材小用。

我们一般会用 π 架构，这里简单介绍下。常规会采用 14 轮噪声迭代；而 One Step 方案在同等训练流程里，仅需单次 Flow Matching 去噪，速度向量便可直接指向最终结果，并且精度完全达标，这也是一项很有价值的实验结论。

既然自回归 VLA 具备上述诸多优势，该如何对其进行具体设计？

我在之前发布的博客里，将整套框架类比为一个语言模型、或是一门全新的结构化语言来拆解解读，接下来我会援引博客中的相关概念逐一说明。

首先，我认为以往自回归 VLA 存在两处核心短板：

第一是动作离散化引发的重建损失问题。举个例子，模型本应学习标识 apple，经过 Tokenizer 编码重建后输出拼写错误的内容。LLM 本身拟合与学习能力极强，但如果给定错误的训练目标，模型只会习得错误范式，自然无法正常生效。

第二是推理解码速度。以 Libra 10×7 的 Action Trunk 为例，基础分箱式 Naive Tokenizer 按照每个动作维度逐时间步编码，单次就要生成 70 个 Token；FAST 方案优化后压缩至 17 个 Token；π0 仅需 10 轮去噪步骤，而前文提到的 One Step Flow Matching 仅单步即可完成去噪，效果完全达标。

我们假定单次去噪流程与 AR 单步解码耗时相近，它们的时间相当，我们可以类比成什么？那 AR 逐 Token 解码的耗时是它的 7~8 倍，这个是非常不能接受的。这最终也会体现在最终的推理时间上，差距非常大。

所以这一切问题的根源在哪？其实在于 Action Tokenization，也就是动作编码、动作分词的方案，存在很大争议与问题。

那这里我举个例子，比如说分箱式编码，动作时长可长可短，整体精度尚可。

把取值区间 0~1 或是 - 1~1 划分成 200 个区间，精度能够达到 10⁻³ 量级。对应到末端执行器上，误差大约 1 毫米，对于绝大多数任务而言，99% 的场景完全够用。

第二是此前常用的 VQ 方案，也就是 Neural Tokenizers，这类方法虽然引入了 RVQ 残差矢量量化，但整体建模逻辑存在明显缺陷，从设计之初就没有把重建准确度纳入核心考量，重建效果甚至不如基础分箱方式。

虽说压缩后特征更容易拟合学习，但训练目标本身存在偏差。参考图里的红线误差边界，阈值设定为 10⁻² 或 10⁻³，可以看到 VQ-VLA、Mini-VLA 重建出的动作结果大量超出误差允许范围。这种重建偏差对于动作还原来说完全无法接受，相当于从最开始就让 LM 拟合错误的监督目标。

FAST 方案整体设计思路十分出色，压缩效率与重建效果兼顾，但实际落地使用会暴露出明显问题：它属于变长编码。

AR 自回归框架本身存在一个固有误区，FAST 没有沿着时序维度做压缩，而是先通过 DCT 离散余弦变换转到频域再进行压缩，最终生成的 Token 序列长度不固定。一旦 Token 序列长度错乱，解码流程就会彻底失效，本轮推理直接作废。

变长机制会给 LLM 推理引入大量不确定约束，模型还需要自行判断序列何时终止生成，大幅提升了学习难度。

结合以上几种方案的痛点，我们就能梳理出一套合格 Action Token 该遵循的设计准则。

我觉得主要是这以下几个方面吧，第一是 Reconstruction Fidelity，也就是重建的效果。

第二是 Compression Rate，就是压缩率要高。

第三，因为我们的 Action Trunk 本身它是时序 Action 两个 Dimension，所以说它其实是个 2D 的结构。那我们可以把它理解成就是它像一张图。我们就可以做一个类似图像式的 2D 结构的 Tokenization。

最后是 Flexibility ，我们需要一个 Action Tokenizer 它能够兼容各种各样不同的机型，比如说单臂的双臂的 EEF 的，或者说 Joint Position 的 Joint Velocity 的这些，我们都希望在 Tokenizer 里面 Universal Tokenizer 里面去建模掉。

所以这里面我们就这是 FASTER 当时的一个初衷，FASTER 本质上解决的是一些建模上的，定义问题和基本盘问题，我们不管任何其他的 Feature 我们就先考虑到重建本身的问题，我们至少要让你的 Action Trunk，重建建模的准、压缩率高，在这两者之间达到一个 Trade Off。

我们也用了 RVQ，因为是受益于语音模型， 邱老师组里面就是我很多朋友是做语音模型的，那他们那边因为语音跟 Action 建模是很像的，他们的序列更长。语音模型用自回归都能 Work 的很好，那我觉得，VLA 不会有异议，就它一定能 Work，这是我当时非常坚定的。当时做 Action Tokenizer 的时候也借鉴了很多 Speech Tokenizer 的经验，当时我也喊了组里的栋哥，去交流这个问题，甚至我的 Codebase 用的都是 Speech Tokenizer 和 XY Tokenizer 的 Codebase，RVQ 本身是没有任何创新的。这个地方工程鲁棒就已经足够了。

甚至说对于做具身来讲，工程远远大于创新点，这里面可能唯一不同，是在正常的 RVQ 的训练 Loss 里面，这第一个叫 Reconstruction Loss，第三个叫 Commitment Loss，需要让你的表征和词表的表征足够接近。

第二个是我们新加了一个 Loss，也算是另外一种重建 Loss，但是是在频域上的重建。Action Trunk 编码完成后，经过频域转换可以同时提取低频、高频信号。高频分量不一定是 Noise 噪声，大概率对应精细微小动作，这部分信息需要完整捕获。经过 DCT 离散余弦变换之后，信号里的高频与低频分量会被归一至同一尺度施加监督约束，这就是我们针对 DCT 额外新增的损失项。

另外顺带说明压缩方式：整体采用行优先压缩，沿着 Time Horizon 时序窗口处理。以 10×7 规格的原始动作序列为例，通过 RVQ 将层数 N 设置为 3，压缩为 3×7 结构，总计 21 个 Token。对比 FAST 方案、分箱编码确实实现了压缩，但 Token 数量依旧多于 Flow Matching 的 10 轮 Denoise Step，因此我们额外做解码加速优化。

第一，我们曾尝试引入 Action Expert 模块，后续验证该模块增益极低，完全没必要额外接入，最初添加仅为提速解码，该组件在 G05 版本直接移除。

第二核心优化为 Blockwise Decoding 分块解码。回看 RVQ 建模逻辑，我们并非逐 Time Step 单步压缩，而是针对单个 Action Dimension 动作维度，顺着整条时序维度，按照行优先逐行压缩生成 Action Token，所以同组的三个 Token 不存在时序绑定关系，三者对应同一个 Dimension 下完整的 Time Horizon，互相之间没有强 Dependency 依赖关系。因此在生成阶段，可以将这三个 Token 并行一次性生成。

后续实验验证，即便 RVQ 层数设置为 6、9 依旧可以正常运行。至少针对 Action Trunk 生成任务，不必严格遵循 Auto Regressive 自回归生成逻辑，该模块本身不存在强时序依赖，这是建模层面很有价值的发现。

不过这三组 Token 内部仍存在关联，N 取 3 时整体效果最优。

简单来说，Block-wise Decoding 降级使用就是标准纯 Auto Regressive；更进一步采用 Parallel Decoding，可一次性解码全部 Token。

该方案速度与效果兼顾，当时评测分数达到 87，今年公开论文里很少有方法能突破该分数。至于 Libra 能达到 98 这类仿真数据集分数，我们并不看重仿真指标，仅作参考，核心评判标准以真机实测效果为准。

各类主干 Backbone 性能差距不大，本方案效果大于等于 π、FAST，多数场景下更优，少数场景持平，整体效果达标。

FASTER 核心包含两项关键 Insight，第一是关于 Tokenization 部分。 Action Tokenizer 本身具备极佳的 Data Scaling 特性。想要拟合出一套可用的表征语言，必然是语料数据越丰富，模型拟合精度越高。好比只阅读小说、新闻，学到的内容会带有很强的先验归纳偏置；但如果网页、博客、论文、各类文本全都涉猎，对这门语言的理解就会更完整全面。这一过程类似大数定律，模型效果会在波动收敛中逐步趋于稳定。

第二是泛化能力。这里的泛化不局限于同机型适配，还支持跨构型迁移。FAST 已经很好验证了这一点：预训练完成后可开箱即用适配各类下游任务，FASTER 同理。

我做过一组简单对照实验，基于 Charm、单臂 EEF 架构下的 Libra、Bridge、Joy 设备数据训练 Action Tokenizer，该分词器能够对关节空间下归一化后的松灵双臂机器人 Action Trunk 完成编码，重建输出的动作还原质量十分优秀。暂且不论高层语义匹配度，单从动作重建层面，完全可以适配松灵机械臂完成编码。倘若预训练阶段的 Embedding 就融入六轴单臂、双臂设备数据，这套 Tokenizer 基本可以覆盖六轴双臂机器人的全部动作特征维度。

第三点就是 Zero-Shot 能力。相关实验都是我亲自完成的，我就在旁边工位长期调试 Bridge 真机环境。可以明显看出自回归模型的跨场景适配能力，大幅优于 Flow Matching，也远超仅使用 Joy 或是 Bridge 单数据集训练的基础 FAST。FAST + 是官方开源的通用 Tokenizer。

在 Bridge 数据集的 VLA 任务上，FAST + 整体效果明显优于 FAST。我们统计了多项数据，比如词表利用率与熵值 Entropy：熵代表 Token 在词表内分布的均匀度，分布越均匀熵值越高；分布越集中、长尾越明显，熵值越低。

实测 FAST 熵值明显低于 FAST+，说明该 Tokenizer 从底层就带入了任务先验，出现过拟合问题，甚至单个 Token 出现频次占比高达 10%。从最终结果可以反向推导，这种极度不均衡的高频 Token 分布，非常不利于 LLM 学习，模型会把自身推理能力固化绑定在固定 Token 上。

在真实场景执行操作时，极易出现特征丢失。基于这一现象，我们可以尝试拆解、理解模型泛化能力的底层来源，在此基础上，我们就来讲 Action Codec。

前面主要围绕重建效果与 Action Tokenizer 建模逻辑合理性展开。动作本身具备语义属性，举个例子，某四段 Token 序列在 Charm 平台对应下落动作，我们期望该组 Token 在其他机器人设备上，同样对应下坠、向下抓取这类含义相近的行为，保证相同 Token 跨设备语义统一。

倘若把这组 Token 迁移至双臂机器人，也希望输出动作不会出现巨大偏差，实现语义信息共享。

动作语义的精准界定目前还没有标准答案，不过在设计 Action Codec 时，我们将语义层面的核心内容划定为动作相似度，并依照链式法则拆分整体训练目标。

该模块包含完整目标拆分流程。简单总结来看第一点：我们将优化目标拆分为多个维度，其一为编码熵，其二是词表容量也就是词表大小。

在训练 Token 过程中，借助 VLA 特征完成对齐约束，使相似度相近的动作特征，映射至词表里同一个 Action Token，最终构建出 Residual Grammar 残差文法。

配套示意图逻辑很清晰，我们先看右侧图表纵向对比。首先在重叠度一致的前提下，能看出词表并非规模越大效果就越好。词表容量扩充后，会引入大量高频噪声，模型容易习得无关冗余信息。

由此可以得出一个判断标准：适配 LLM 学习逻辑的 Tokenization 方案，才是优质的动作分词范式。不能单一堆砌重建精度，更要考量分词格式是否能降低大模型的学习难度，本质是优化模型学习曲线。

实验可见，固定词表大小时，Overlap 重叠率越高，分词表征分布越规整、越不易发生过拟合。Overlap Rate 重叠率具体指代的是相邻动作片段编码后 Token 之间的重叠程度，也就是相邻 Token 的波动幅度。

比如两段动作窗口分别是 0~50 帧与 1~51 帧，二者理应复用大量相同 Token 才更符合逻辑。但绝大多数分词方案在无额外约束时，两段语义相近的片段编码结果会相差极大，语义层面缺少对应监督信号。

另外看左侧图表能发现，Action Codec 训练收敛速度极快，仅 5k 轮左右就能达到很不错的效果，这是以往 FAST 等方案很难实现的。整体收敛速度显著优于 Flow Matching 与原版 FAST，对冗余高频噪声信息的拟合效率更高，学习范式更适配 VLM 训练。这也是该方案核心优势，一是局部收敛效果优异，二是整体收敛速度极快。

过程中我们使用了一系列训练技巧与优化小方法：比如为区分预训练阶段不同机器人设备，额外添加 Soft Prompt；在 Perceiver 模块中接入 Cross Attention 机制。

同时为了牢牢把控动作语义，首轮训练完成后，模型对高频细微动作分量的重建精度尚有欠缺。因此第二阶段引入 RVQ 残差矢量量化：第一层分词训练侧重语义约束，再通过两层残差分支补足重建层面的误差短板。

另外还加入对比学习，在动作编码阶段，将动作表征、特征与 SigLIP 输出的视觉语言特征做对齐，让词表内部聚类更聚拢、分布更合理。

从对应图表可以直观看到，启用 Action Codec 之后：语义相近的 Action Token 可以输出高度相似的动作行为。

例如在 Bridge 数据集里代表下落动作的 Token，迁移到其余多个任务场景中，依旧会执行向下下落的动作，这就是 Action Codec 带来的效果。

最后针对 Action Tokenizer，我们设计了一套类似 CoT 思维链的原生动作 CoT 机制，图表对比差异十分直观。

既可以依托文本、也可以借助 SAM-GO 或是图像引导生成动作。粗粒度 Action Organizer 本质是给模型赋予原生推理链路，完成长时序任务规划。

具体实现方式如下：在训 Organizer 的过程里，将一段 16 秒完整动作轨迹与单秒 Action Trunk 联合编码，输出覆盖全程 16 秒的整体动作序列，这一过程就是粗规划（Coarse Planning）。

粗规划输出结果较为简略，主要承载模型对整体任务的意图理解与顶层方案。

我们假设 RVQ 是从 Action Tokenization 分词编码层面实现粗到细。而 Coarse-to-Fine 范式下，Coarse Control 这篇工作是从 LLM 大模型生成端实现由粗到细：先产出规划 Planning Token，再生成执行 Execution Token，依靠顶层规划约束 LM 后续生成与遍历搜索的范围，以此提升规划生成的精准度。

这套方案最终呈现的效果超出了我的预期，最开始只是随口提出一个小想法交由学弟落地，后续实测下来效果十分亮眼。即便我们统一对齐所有 Backbone 主干网络，开展严格对照实验，最终最优结果依旧出自这套原生 CoT 方案，我们还完整复现了 Ecot 作为对照基线。

例如文本输入分支统一采用 Poly 编码、PAD 初始化；搭建 Goal Image、Cotbla 这类基线方法时，不再使用原版 OpenAI 权重（其实际效果较差），全部基于同一套 Backbone 初始化。

实验对比能明显看出，依托 Coarse Planning 规划式 Action Token、Planning Token 实现模型原生推理规划，整体效果优于其余方案，同时生成 Token 数量更少。

像 Goal Image 需要生成 256 个 Token，部署到真机端推理速度极慢，文本驱动方案同理时延很高。 这部分属于小型衍生工作，本质是拓展 Action Tokenization 的应用边界，丰富该编码体系的使用场景。

ETC 训练方案

接下来简要介绍第三项全新工作，核心是一套标准化训练配方。它与自变量相关研究、以及其他聚焦训练范式的工作高度契合。

下面先给出结论：VLM 迁移训练 VLA 时，会出现多处不匹配问题，核心是语义与表征鸿沟。

我认为主要分为两类问题。

第一类是 Input Space：通用 VLM Data 与 EVL Data（即 Embodied VLA Data）存在巨大差异，尤其是在视觉维度上。常规 VLM 搭配 SigLIP 或训练完成的 Vision Encoder，其输出 Feature，往往不足以支撑具身 Manipulation 任务所需的特征。

第二类是 Output Space：自回归采用 Next Token Prediction + Cross Entropy 作为训练目标，而 Flow Matching 使用 L2 Loss，二者优化目标完全不同。这是第一层 Mismatch。即便全部基于自回归视角，VLA 一端是 Text Token Understanding，另一端是 Action Token Generation，二者在语义层面同样存在 Mismatch。

从数据分布角度来说，通用 VLM Data 与 Embodied VLA Data 之间，二者 Gap 极大，可交融的 Feature重叠占比很小。如果仅使用 Action Only 方式微调、强行迁移模型分布，会迫使模型参数直接跳转至 VLA 专属分布，两类数据几乎不存在 Overlap 。

当任务需要 Open Vocabulary 与语言泛化能力时，整套 VLA 系统就会失效。此前业界常用的解决方式为Co-Train。

我一直在思考联合训练 Co-Train 究竟在哪些场景生效、哪些场景无效。实验后能发现，针对分布内 In-Distribution 任务，Co-Train 基本起不到正向增益，甚至会小幅削弱模型本身性能。

本质上 Co-Train 更偏向持续学习 Continual Learning 里的防遗忘 Anti-Forgetting 思路。它的优势在于：依托两类数据原本少量的特征交集，搭建起连接桥梁，让模型最终参数可以同时容纳通用 VLM 数据、具身 VLA 数据这两套分布的表征。

在此基础上处理分布外 OOD 任务时，模型就能依托这条窄链路，在小范围开放词汇、陌生指令类任务上具备尚可的泛化能力。

因此我们提出第三种方案：ETC，全称 Embodied Trajectory Coupled。

ETC 基于已有的 VLA 预训练数据，二次构建适配 VLA 模型学习的多模态样本，用来参与联合训练。它对两种数据分布的搭桥效果远强于传统 Co-Train，相当于拓宽了两类分布之间的连通通路。

依托这条更宽的链路做联合训练，模型最终能覆盖的表征范围更广，学到更局部最优的融合分布。

下面简单说明，这套 Embodied Trajectory Coupled Data，和领域内过往常用的数据构建思路没有本质区别。

这篇工作核心并不在于提出全新算法与 Training Recipe，而是把此前学界容易忽视的问题做系统性梳理与验证，在现有资源条件下把底层逻辑研究透彻。

举例来说，我们依托 VLABench，基于该基准里的 Action Data 扩充生成多种多模态样本。

我们可以把整套训练范式拆分为三个阶段：Pre-Training 预训练阶段。 我的观点是第一阶段预训练不可以接入任何机器人本体相关数据，所有 Action 相关数据统一放在 Mid-Training 中间训练阶段使用，整体流程从 VLM 基座开始搭建。

但预训练环节可以引入 Embodied 类数据，或是与后续 Mid-Training 适配对齐的数据集，依托 VR Data、Understanding、Manipulation Understanding 这类数据完成基座初始化，对原有 VLM 能力做一轮补强。

此前小米等团队都采用过该方案，但缺少对照实验论证该步骤的必要性与增益原理，本次我们补充了完整对照实验。

结论很明确：无论后续采用 Action Only、Co-Train 或是其他训练方案，只要基座是经过该轮增强的 VLM，最终下游效果都会显著提升。

本次增强使用的就是我们的 ETC Data，也就是和 Mid-Training 高度匹配的耦合数据集。特别是在 VLABench 上我发现一个很反直觉的现象：如果不经过 π0、FAST 这类前置预训练，模型成功率几乎很难冲到 70% 上下，这点当时让我十分意外。

在最开始的预训练阶段就填补 VLM 与 EVL 之间的表征 Gap，模型就能收敛到更优的局部解。这也是为什么我们最开始提出，通用 VLM Data 和 EVL Data 天然存在表征鸿沟。

对照这张示意图能够看出，在训练 VLA 的流程里，如果将 Vision Encoder 进行 Freeze 冻结，整体性能会出现大幅下滑，足以说明该 Feature 本身并不适配 VLA 任务的学习需求。

接下来进入第二个 Stage，我们将其称作 Mid-Training。前文提到整个训练流程存在两处 Mismatch，本阶段我们分步消解偏差，只针对性修复第二项不匹配问题，也就是生成侧、即 Output Space 层面，Text Understanding 与 Action Generation 二者语义不兼容的问题。

本阶段才正式接入 Action 相关训练目标。此时主干网络输入侧的 Vision Encoder 表征已经和 VLA 任务基本对齐，图像与文本的理解维度达成统一，模型仅需聚焦优化输出端的生成损失即可。

同时我们针对不同类型的 ETC Data 做了多组消融实验：数据集分支包含 VQA、场景 Grounding、场景 Caption、2D Trajectory Planning 等类别，实验结果能够清晰看出差异。

其中 2D Planning 起到的衔接增益最为突出：该模块依托文本理解任务指令，输出与 Manipulation 机械操作高度贴合的 2.5D 动作表征。

这一方式搭建起的跨分布桥梁效果十分亮眼，是更优质的表征通路。只要 EVL、VLA 基础基线本身性能合格，叠加该模块后整体表现一定会有所提升；各类数据单独接入均能带来正向收益，组合使用后综合效果最优。

最后介绍 Retention 相关内容，该环节对应 Post-Training 后训练阶段，后训练主要划分为两大类别。

第一类为纯 In-Distribution 分布内场景，第二类是 Out-of-Distribution 分布外场景。

In-Distribution 部分结论比较直观：使用 In-Distribution 格式的 ETC 数据，评测得分本身就处于较高水平，和纯 Action 方案表现相近；在分布内任务里叠加 Co-Train 联合训练通常无法获得明显提升。

但放到 Out-of-Distribution 场景里情况就完全不同，针对这一点我们做了一组很有参考性的实验，接下来结合示意图说明。

以 Qwen 基座训练为例，联合训练不能中途停止，需要在训练全流程的每一个阶段都接入 Co-Train，最终训练出的模型整体效果会更优。如果在 Stage Two 阶段省略 Co-Train，最终性能会出现大幅 Drop，这是第一个结论。

第二点，在 Retention 阶段新增 Co-Train，最终指标几乎不会产生明显变化。我们将这种范式命名为 Induction，用来引导模型参数适配新样本。

举个例子：训练数据仅采集 A、B、C 三类物体样本，测试时替换为 D、E、F 全新物体，属于典型 OOD 场景，模型效果会断崖式下滑，比如准确率从 90% 跌到 40%、50% 直接腰斩至 25%。

对此我们设计了一套组合优化方案：不需要针对实操任务手动标注全新数据集，而是半自动构建扩充 VLA 数据。操作方式为拍摄目标场景实拍图片，调用 Gemini 或是 GPT-to-Image 生成对应场景素材；这批生成数据不附带 Action Label 动作真值标签，仅用来搭建面向场景 Manipulation 理解类训练任务。

依托整套前置训练 Recipe 搭建的表征桥梁，模型已经通过 A、B、C 三类物体的操控动作学习，完整覆盖了基础 Action Space 动作空间，天然具备组合泛化能力。模型能够把全新物体、全新任务对应的 VLA 表征，和已经学习过的基础动作范式建立关联，将原有动作能力映射到全新视觉观测特征之上。我认为这是一套非常巧妙的组合泛化实现思路。

配套示意图可以更直观解释分阶段训练的必要性： 整个优化过程可以类比梯度下降寻优。

Initialization 初始化环节，本质是给梯度下降设定一个更合理的初始起点，相当于直接从半山腰开始往下收敛；

如果全程只采用 Action Only 纯动作微调，模型极易收敛到泛化性较差的次优局部极小值 Sub-Optimal Local Minimum；

倘若跳过初始化直接做 Co-Train 联合训练，收敛速度会十分缓慢，最终依旧容易落入平庸的局部最优解。

只有从适配的初始起点出发，搭配多阶段训练约束，才能让模型最终收敛到泛化能力更强、更优质的 Local Minimum 局部最优解。

以上就是我们近期围绕 ETC 方案与分阶段训练 Recipe 完成的相关工作。

Q & A

Q1：AR 架构能否做多模态 push T 任务？

A1：diffusion 的 push T 的话，自回归 AR 完全可以实现。不存在 AR 精度不足的问题。本人主办的 Workshop 设置三项高难度挑战赛任务，同场景下 AR 效果优于 π05，二者分数大致为 70 分对比 60 分。任务均为亚毫米 / 毫米级高精度操作：安装电池、操作宽度仅 5mm 的汉诺塔小圆环（偏移 1mm 就会掉落）、拧紧水杯等，AR 在这类任务上能做到很高成功率，适配 Push-T 类任务没有问题。

Q2：Action Token 如何适配 LLM 逻辑？TSNE 流形图采用什么绘制方式？

A2：Action Tokenizer 可以类比外语学习，只要动作 token 语义无歧义、表征空间和大模型 Embedding 对齐，就能大幅降低模型训练难度；TSNE 绘图选取 Libra 四类任务的 EOS Token 做降维可视化。

Q3：Planning Token 生成相关问题，时序窗口如何设置？Tokenizer 能否一体化训练？

A3：基础动作窗口默认为 1 秒，时序窗口还支持自定义，可选 4s/8s/16s 或是整条完整轨迹；Planning Tokenizer 可单独训练，也能和 Action Trunk 一体化联合训练，二者共享表征效果更佳，模型内置规划模式，专门输出 Planning Token。

Q4：FASTER 的 Blockwise Decoding 是否能在完整训练阶段使用？

A4：该机制需要修改 Causal Attention 结构，不属于推理阶段无改动的纯加速方案；即便在原版 FAST 模型上叠加该模块，也能带来明显速度提升。

Q5：FASTER 快速采样方案能否用于 on policy 强化学习 RL？

A5：本身并不看好真机环境下 on policy RL，它仅能支撑极短任务，长时序任务无法收敛，PLT 方案前半段放弃该路线就是因为长程场景无法生效；该范式交互成本高、数据利用率差，现阶段不适合搭配 FASTER 快速采样。

Q6：选择自回归 VLA 开展研究的核心依据是什么？

A6：语音时序建模逻辑和机器人动作序列高度相似，语音领域基于 RVQ 的自回归方案已经成熟落地，这套成熟技术可以直接迁移至 VLA 动作建模，具备充分可行性。

Q7：20Hz 闭环 AR 推理延迟如何落地优化？

A7：Blockwise Decoding 大幅压缩解码耗时，整体推理速度优于 Flow Matching；配套实时滑动窗口优化方案可查阅对应论文。

Q8：数千规模的 Action 词表如何和千亿参数 VLM 适配？

A8：将 Action Token 视作一门独立语言，词表规模设计逻辑和自然语言词表保持一致，可根据任务需求灵活扩充词表容量。

Q9：AR VLA 存在动作幻觉问题，如何解决，安全性如何保障？

A9：动作幻觉本质是动作生成偏差，Flow Matching 架构同样存在该问题；可通过 Tree Search 搜索约束缓解幻觉。落地优先保障模型基础可用性，安全边界属于后续迭代研究方向。

Q10：当前具身智能发展的主要阻碍是什么？

A10：算法并非核心瓶颈，真正限制行业发展的关键点：硬件稳定性不足、统一标准化评测体系缺失、数据基建不完善、行业技术路线尚未收敛、真实落地场景需求模糊。

Q11：VLM 与 VLA 之间分布桥梁的底层逻辑是什么？

A11：视觉语言 V+L 是共享表征分布，动作 Action 属于独立子分布；多映射关系能够带来组合泛化能力，一一对应的简单映射极易造成模型过拟合，该思路已在 ETC 真机实验里验证效果良好。

Q12：长时序任务存在 prefix drift、动作累积误差问题，AR 架构如何应对？

A12：当前 Action Trunk 生成 Token 数量少，依托 DCT 频域建模不会持续累积时序误差；prefix drift 根源是视觉编码器鲁棒性不足，AR 凭借原生强大语言理解能力更有优势。目前通用 VLM 上下文窗口可达 32k/100k，但 VLA 上下文长度普遍不足 2k，VLM 原生能力仅开发 5%-10%，后续会重点挖掘建模上限。

Q13：VLA 结合 RL 提升常识任务成功率是否可行？

A13：在线 Online RL 收敛速度慢、采样成本极高，仅适配 2-5 秒短操作；长时序任务只能依靠离线 Offline RL，π0.6、LTL 方案分别针对长短任务做优化。该方向理论上存在机会，但当下并不适合落地，罗建兰等业内同行观点一致。 后续推荐分层架构：VLA 主干负责物体交互，独立 Online Adapter 拟合设备动力学、承担运控与硬件自适应，精细操作单独拆分模块，不全部交由大模型处理，解决硬件不稳定无法离线优化的短板。