论文标题：LA4VLA: Learning to Act without Seeing via Language-Action Pretraining
论文链接：https://arxiv.org/abs/2606.27295
项目主页：https://github.com/MINT-SJTU/LA4VLA
上海交大联合阿里巴巴发布 LA4VLA，提出 Language-Action Pretraining：在预训练阶段暂时去掉视觉输入，让 VLA 更集中地学习语言和动作之间的对应关系。
VLA 模型的目标，是把视觉、语言和动作放进同一个机器人策略中。机器人看到场景，接收语言指令，再输出下一步动作。这个方向很自然，也已经成为具身智能中的重要路线。
但问题也在这里：当视觉信息足够丰富时，模型到底是在理解语言，还是只是在利用图像中更直接的动作线索？如果图像已经暴露了目标位置、物体外观和场景布局，语言监督很可能被弱化。
LA4VLA 关注的正是这个问题。它并不是让机器人最终不看图，而是提出一种更清晰的训练方式：先把语言-动作关系单独拿出来学，再把这种能力带回标准 VLA 训练中。
具体来说，LA4VLA 在预训练时暂时去掉视觉输入，只保留语言指令和机器人状态，让模型预测连续动作轨迹。这样一来，模型不能依赖图像中的捷径，而必须学习语言本身如何约束动作。
1. 为什么 VLA 里的语言监督可能不够强？
标准 VLA 训练通常来自机器人示范轨迹。每条轨迹包含连续图像、机器人状态、动作序列，以及一条自然语言任务指令。模型根据视觉观测和语言目标预测动作。
这种训练方式符合真实机器人操作，但监督信号并不均衡。
视觉和动作是逐帧变化的，一条轨迹可以产生大量 visual-action 或 state-action 对。语言却往往只有一句高层指令，并在整条轨迹中保持不变。例如 "clean the table" 可能包含靠近、抓取、移动和放置等多个局部阶段，但这些阶段并没有天然的细粒度语言标注。
输入层面也类似。图像会被编码成大量 visual tokens，而语言指令只占很小一部分。模型训练时，很容易优先利用视觉中的密集线索，而不是充分学习语言如何决定动作。
因此，一个 VLA 在正常视觉输入下完成任务，并不一定说明它已经掌握了稳定的语言-动作映射。当视觉输入被替换、干扰，或者与语言目标冲突时，模型可能更容易跟随视觉。
LA4VLA 的核心判断是：视觉仍然重要，但语言-动作监督需要被更直接地训练。
2. 当语言和视觉冲突时，模型会听谁的？
为了验证这个问题，作者设计了 instruction-conditioned direction following 诊断实验。实验固定语言指令，只改变视觉输入，观察模型预测的轨迹是否仍然符合语言指定的方向。
实验使用方向明确的原子动作指令，例如 "move upward to approach the target" 和 "move downward to approach the target"。视觉输入包括四类：原始配对视觉、无视觉、同场景不匹配视觉，以及来自相反方向动作片段的冲突视觉。
结果很直接。在原始配对视觉下，模型能较好地区分相反方向；但当视觉被去除或替换后，方向区分能力明显下降，轨迹也变得不稳定。
更关键的是冲突视觉设置。语言要求模型朝一个方向移动，但视觉来自相反方向的动作片段。此时模型预测明显偏向视觉暗示的方向。这说明标准 VLA 在语言和视觉不一致时，容易被视觉牵引。
量化结果也支持这一点：direction following 在无视觉、不匹配视觉和冲突视觉下都显著下降，冲突视觉还会导致明显的反向偏移。
这个诊断实验说明，语言-动作监督如果一直和视觉输入绑定在一起，可能很难被充分学习。
3. LA4VLA：把语言-动作关系单独训练出来
LA4VLA 的关键，是将 Language-Action Pretraining 从标准 VLA Pretraining 中解耦出来。
在常规 VLA pretraining 中，视觉观测、语言指令和机器人状态一起输入模型，用来预测动作。这样可以学习视觉条件下的控制策略，但也可能让语言-动作关系被更密集的视觉-动作信号覆盖。
LA4VLA 则在 LA pretraining 阶段暂时去掉视觉输入。模型只能根据语言指令和机器人状态预测连续动作轨迹，不能依赖图像中的物体外观、目标位置或场景布局。
这里的监督也不是简单的动作类别标签。模型学习的是低层动作描述和连续动作轨迹之间的对应关系。例如：
"Lower the object downward toward the target while holding it" 对应持物向目标方向下放；
"Transport the object to the right while holding it" 对应持物向右移动；
"Open gripper to release and place the object onto the target surface" 对应释放并放置物体。
这些描述包含方向、夹爪状态、是否持物和局部物理效果，同时尽量避免绑定具体物体和具体场景。模型学到的不是某张图里的操作，而是一类可迁移的语言-动作规律。
因此，LA4VLA 不是简单增加训练数据，而是把 VLA demonstrations 中原本隐含的语言-动作监督，重新组织成一种独立的预训练信号。
4. LA-33K：从长轨迹中提取语言-动作片段
为了训练 LA4VLA，作者构建了 LA-33K 数据集。这个数据集没有额外采集机器人示范，而是从已有 VLA demonstrations 中整理得到。
完整机器人轨迹通常只有一条高层任务指令，但内部包含多个短时局部动作阶段。LA4VLA 将长轨迹切分为 atomic action segments，并为每个片段生成对应的低层动作描述。
数据构建流程包括关键帧检测、原子动作类别约束、VLM temporal segmentation 和人工核验。最终 LA episodes 覆盖 move、grasp、lift、transport、place、reorient、lower 等常见原子操作。
LA-33K 最终包含 33,116 条人工核验的 Language-Action episodes，共 1,524,990 帧，平均每条 episode 为 46.05 帧。相比原始 VLA 长轨迹，这些片段更短、更局部，也更直接对应动作执行过程。
通过 LA-33K，原本混在视觉、语言和动作中的监督信号，被显式整理成可以独立训练和分析的 Language-Action 数据。
5. 实验结果：暂时去掉视觉输入，收益来自哪里？
LA4VLA 在 MetaWorld、LIBERO、跨架构设置和真实机器人任务上进行了验证。
首先，单独 LA pretraining 已经有效。在 LA4VLA-1B 上，MetaWorld 平均成功率从 69.73% 提升到 83.00%，提升 13.27 个百分点；LIBERO 从 92.85% 提升到 95.30%，提升 2.45 个百分点。
这种提升也能迁移到其他架构。将相同 LA pretraining protocol 应用于 StarVLA，MetaWorld 从 58.39% 提升到 69.91%，LIBERO 从 93.70% 提升到 94.85%。
真实机器人上的提升更加明显。Press Button、Place Book 和 Place Drink 三个任务的平均成功率从 38.3% 提升到 81.7%。这说明无视觉预训练阶段学到的语言-动作规律，可以迁移到真实视觉条件下的机器人控制。
LA pretraining 也优于 matched VLA pretraining。在相同原子动作片段上，保留视觉输入做 VLA pretraining 时，MetaWorld 为 79.78%，LIBERO 为 94.40%；暂时去掉视觉输入做 LA pretraining 后，分别达到 83.00% 和 95.30%。
LA supervision 还可以和 VLA supervision 互补。在 MetaWorld 上，No pretrain 为 69.73%，LA 为 83.00%，LA-VLA 为 86.75%，MixPT 达到 87.53%。在 LIBERO 上，No pretrain 为 92.85%，LA 为 95.30%，MixPT 为 95.75%，LA-VLA 达到 96.28%。
在视觉扰动下，平均成功率从 No pretrain 的 27.5% 提升到 LA 的 67.5%，MixPT 进一步达到 70.0%。这说明不依赖具体图像的语言-动作规律，有助于提升模型面对视觉变化时的稳定性。
整体来看，Language-Action Pretraining 既可以单独提升策略，也可以与标准 VLA pretraining 形成互补。
6. 模型内部也更像是在按语言组织动作
除了成功率，作者还分析了 LA pretraining 对模型行为和内部表示的影响。
方向跟随结果显示，经过 LA pretraining 后，即使没有视觉输入，模型仍能根据语言指令生成方向清晰分离的轨迹。相比标准 VLA，动作方向更稳定地跟随语言。
t-SNE 可视化也给出类似结果。标准 VLA-trained policy 的内部表示中，不同方向指令容易混在一起；LA-pretrained policy 则会按照方向形成更清晰的聚类。
这说明 LA pretraining 不只是提升下游成功率，也让模型形成了更明确的 instruction-conditioned representation。
7. 主要贡献
LA4VLA 的核心贡献，是把 VLA 学习中的 Language-Action Pretraining 单独提出，并验证它可以作为独立、有效且可互补的预训练范式。
提出 LA4VLA，一种 vision-agnostic language-action pretraining framework，通过暂时去掉视觉输入，让模型学习语言如何约束动作执行。
构建 LA-33K 数据集，包含 33,116 条人工核验的 Language-Action episodes，不需要额外采集机器人数据，而是从已有 VLA demonstrations 中提取监督。
系统研究 LA-only、sequential LA-to-VLA 和 mixed LA-VLA pretraining，验证 LA supervision 的多种使用方式。
在 MetaWorld、LIBERO、StarVLA 跨架构实验、真实机器人任务、视觉扰动鲁棒性实验，以及方向跟随和表示分析中验证方法有效性。
8. 小结
LA4VLA 并不是要让机器人最终不看图。真实机器人仍然需要视觉来理解场景、物体和目标位置。
它的关键在于：当视觉、语言和动作从一开始就完全耦合时，模型可能更多依赖视觉线索，而语言-动作监督被弱化。通过在预训练中暂时去掉视觉输入，模型可以更集中地学习语言如何指导动作。
Learning to Act without Seeing，最终目标仍然是更好地 Seeing and Acting with Language。