作者:硅基星人
https://zhuanlan.zhihu.com/p/2057783219144110491
VLA 没死,但“纯 VLA”确实不够了。
更准确地说,2026 年这轮争论不是“Vision-Language-Action 要被 World Model 替代”,而是“只把机器人策略看成感知到动作的映射,已经解释不了下一阶段的问题”。
过去几年,VLA 是具身智能的主线。从 RT-2、OpenVLA 到 π0、GR00T,基本范式都是:
视觉观测 + 语言指令 → 动作
这个范式很强。它把互联网预训练的视觉语言知识接到了机器人控制上,让机器人不再只会执行硬编码程序,而是可以理解自然语言、识别物体、在有限任务上泛化。
但到了 2026 年,大家开始发现一个问题:
能根据当前画面输出动作,不等于理解“做这个动作之后世界会怎样”。
这就是 World Model 路线重新变热的原因。
一、VLA 为什么会被质疑?
VLA 最大的优点,也是它的结构性短板:太像一个反应式策略。
它看到当前图像和指令,然后输出动作。这个动作在训练分布内往往很好用,但一旦进入动态场景、长时序任务或失败恢复状态,问题就暴露出来。
比如机器人在传送带上抓一个移动物体。纯 VLA 看到的是当前帧,输出的是当前动作。但真正有效的策略需要预测:
- 物体 0.5 秒后会在哪里;
- 机械臂过去时会不会碰到旁边的东西;
- 如果第一次抓偏了,下一步怎么补救;
- 这一步动作会不会让后续步骤更难。
这些都不是简单的“识别 + 输出动作”能解决的。
纯 VLA 常见的几个问题是:
| 问题 | 表现 |
|---|---|
| 缺少显式未来预测 | 对移动物体、动态场景反应滞后 |
| 长时序误差累积 | 每一步看起来对,十几步后偏到不可恢复 |
| 失败恢复弱 | 训练数据多是成功示范,失败状态覆盖不足 |
| 数据依赖强 | 高质量机器人动作数据昂贵,很难靠堆 demonstrations 扩展 |
| 物理约束弱 | 语言和视觉常识强,但接触、摩擦、力学预测不足 |
所以,“VLA 已死”这个说法有点标题党,但它抓住了一个真实问题:
VLA 的下一步,不是继续把感知和动作头做大,而是要补上世界预测能力。
二、World Model 到底补了什么?
World Model 的核心问题很简单:
如果我执行动作 a_t,世界会从 s_t 变成什么?
写成形式化一点,就是学习:
或者在视频模型里:
它和 VLA 的区别不是“有没有图像和语言”,而是有没有把“未来”显式放进模型里。
VLA 更像是:
看到现在 → 直接行动
World Model 更像是:
看到现在 → 想象未来 → 评估后果 → 再行动
这就是为什么现在很多论文不再满足于训练一个 policy,而是开始训练 video-action world model:同一个模型既要能输出动作,也要能预测执行动作后的未来视频,甚至能评价这个未来是否接近任务目标。
三、2026 年几条代表性路线
1. InternVLA-A1:不是抛弃 VLA,而是给 VLA 加上预测专家
InternVLA-A1 是 2026 年初很值得看的一个工作。
它的出发点很清楚:传统 VLA 的语义理解很强,但缺少物理动态预测;纯视频世界模型能预测未来,但又容易缺少语义锚定。
所以 InternVLA-A1 做了一个混合方案:Mixture-of-Transformers。
它把模型拆成三个专家:
- scene understanding expert:理解场景和语言;
- visual foresight generation expert:生成未来视觉预测;
- action execution expert:输出机器人动作。
三者通过统一的 masked self-attention 协同工作。
这件事的意义在于:它不是说 VLA 不行,而是承认“只靠 VLA 不够”。VLA 需要一个能预测未来的生成专家来补上动态场景能力。
论文报告 InternVLA-A1 使用 InternData-A1 和 Agibot-World 等混合数据,覆盖超过 533M frames,在 12 个真实机器人任务和仿真 benchmark 上评估。尤其在动态场景中,相比 π0、GR00T N1.5 等模型提升明显。
这说明一个趋势:未来的 VLA 很可能不是单一 policy head,而是理解、预测、执行三者耦合。
2. UWM / τ₀-WM:把视频和动作统一建模
Unified World Models(UWM)走得更激进。
它把视频扩散和动作扩散放进同一个 transformer,用独立的扩散时间步控制视频和动作。这样一个模型可以在不同模式下工作:
- 给当前观测,生成动作;
- 给动作,预测未来视频;
- 给视频,反推可能动作;
- 同时生成视频和动作。
这类方法最有意思的点是:它可以利用没有动作标注的视频数据。
传统 VLA 非常依赖动作标签,因为它要学 p(a \mid o, l)。但世界上大量有用数据只有视频,没有机器人动作。UWM 这类模型试图把这些视频数据也纳入训练。
τ₀-WM 则把这个思路推进到更大规模。论文称它在约 27,300 小时真实机器人遥操作、UMI 风格交互、人类第一视角视频和失败轨迹上训练,提供两个接口:
- Video Action Model:从多视角观测、语言和机器人状态中联合预测未来视觉 latent 和连续动作块;
- Action-Conditioned Video Simulator:给定候选动作,rollout 多视角未来,并预测任务进展分数。
它最像“推理时想一想”的机器人模型。不是直接输出一个动作就完事,而是采样候选动作、预测后果、排序、必要时修正。
这就是 World Model 相比纯 VLA 的关键增量:test-time computation。
3. WorldDP:世界模型做高层规划,Diffusion Policy 做低层执行
WorldDP 的路线更工程化。
它不试图让一个模型同时做所有事,而是分层:
高层世界模型:预测对象状态变化,选择可行子目标
低层 Diffusion Policy:把子目标执行成具体动作
这个设计适合多阶段任务。
比如机器人要整理桌面。端到端 VLA 可能一步一步输出动作,但很容易在长序列里累积错误。WorldDP 会先把任务拆成子目标:先移动杯子,再移动盘子,再清理桌面区域。低层策略只需要完成当前子目标。
论文强调 object-centric representation,也就是把环境拆成对象,而不是把整张图像当作一个黑盒状态。这对长时序任务很有价值,因为很多任务的本质就是对象关系在变化。
4. VLA-JEPA / JEPA-VLA:世界模型作为 VLA 的表征增强
还有一条更温和的路线:不做大规模视频生成,也不把动作和视频统一扩散,而是在 VLA 的视觉表示里加入预测性表征。
VLA-JEPA 和 JEPA-VLA 都在做类似事情:用 JEPA 风格的 latent prediction,让模型学到更稳定的未来状态表示,而不是只学当前帧的视觉语义。
这类方法的优点是推理成本低,也更容易嵌入现有 VLA。缺点是它没有显式生成未来视频,规划能力不如 τ₀-WM 这类模型直接。
但从工程角度看,这可能是最先落地的一类“世界模型增强 VLA”。
四、所以路线之争可以这样看
我更倾向于把当前路线分成四类:
| 路线 | 核心思路 | 优点 | 风险 |
|---|---|---|---|
| 传统 VLA | 当前观测和语言直接输出动作 | 简单、快、部署成本低 | 动态预测和失败恢复弱 |
| 混合 VLA | VLA + 生成/预测专家 | 保留语义理解,补充未来预测 | 架构更复杂,训练更难 |
| 统一世界模型 | 视频和动作统一建模 | 能想象未来、评价候选动作 | 推理成本高,数据要求大 |
| 层级世界模型 | 高层规划子目标,低层执行 | 适合长时序、多阶段任务 | 模块边界和状态表示难设计 |
如果只看短期部署,VLA 仍然很有竞争力。
原因很简单:它快,链路短,工程上好调。很多工业操作任务并不需要复杂想象,只要环境足够结构化,VLA 或 Diffusion Policy 就可以跑得不错。
但如果看更长期的通用机器人,World Model 几乎绕不过去。
机器人要从“会做一个任务”走向“能处理变化和失败”,就必须知道动作后果。没有未来预测能力,策略很难真正规划。
五、“VLA vs World Model”本身可能是个伪问题
最近一篇 position paper 题目就很直接:Robots Need More than VLA and World Models。
它的观点是:把通用机器人智能简化成“VLA 还是 World Model”,本身就是一个不完整的问题框架。
真正的瓶颈,不只是 policy learning,而是 grounding bottleneck。
世界上有大量可用的行为数据:人类视频、仿真 rollout、失败案例、交互演示、维修记录、工厂流程视频。但这些数据大多不能直接变成机器人监督信号。
缺什么?
- Data interface:把非结构化行为数据自动标注成任务、阶段、目标和状态变化;
- Embodiment interface:把人类动作或其他机器人动作 retarget 到当前机器人本体;
- World-model interface:把视频和语言里的物理信息转成可预测、可规划的状态;
- Reward interface:从视频、语言或任务描述中判断任务是否完成、进度如何。
这个视角我觉得更接近本质。
因为不管你叫 VLA、World Model、WAM 还是 JEPA,最后都要落到一个系统问题:
机器人部署
→ 收集失败和接管数据
→ 自动标注任务状态和奖励
→ 更新世界模型和策略
→ 再部署
谁先把这个飞轮跑起来,谁才真正有护城河。
六、为什么“像 LLM 一样 scaling”没那么简单?
World Model 支持者经常会类比 LLM:
文本模型可以通过海量无标注文本自监督训练,那么机器人是不是也可以通过海量无标注视频训练世界模型?
方向对,但难度差很多。
语言数据有天然 token,互联网上到处都是文本。机器人数据没有这么干净:
- 视频没有动作标签;
- 人类动作不能直接变成机器人动作;
- 相机视角、机器人本体、任务环境都不同;
- 物理接触细节常常不可见;
- 成功和失败需要 reward 标注;
- 真实机器人数据采集昂贵。
所以机器人领域的 scaling law 不会简单复制 LLM。
LLM 的关键是“预测下一个 token”。机器人更像是在学:
- 世界如何变化
- 动作如何导致变化
- 什么变化算任务成功
- 当前机器人身体如何实现这个动作
这比文本预测多了 embodiment、physics 和 reward 三层问题。
这也是为什么我不太喜欢“VLA 已死”这种说法。它听起来爽,但遮蔽了真正的问题。VLA 和 World Model 都只是系统中的一部分。
七、我对 2026 年下半年的判断
我认为短期不会出现一个明确胜者。更可能出现三种融合。
1. VLA 继续做低延迟策略主干
在很多结构化场景里,VLA 仍然会是主力。
比如桌面抓取、简单装配、仓储取放、固定工位操作,只要任务不太长、环境变化不太大,直接从视觉语言到动作是最经济的方案。
这类场景里,World Model 可能不是实时参与每一步控制,而是用于数据增强、离线评估和失败样本分析。
2. World Model 成为规划和评估层
对动态场景和长时序任务,World Model 会更重要。
它可能以三种方式接入:
- 推理时采样多个候选动作,预测未来后果,再选一个;
- 训练时生成失败变体,帮助策略学习恢复;
- 部署后分析失败轨迹,自动生成新训练数据。
这不是替代 VLA,而是在 VLA 外面加一个“想象和评估”的层。
3. 预测性表征会进入 VLA backbone
VLA-JEPA、JEPA-VLA 这类工作提醒我们,不一定非要生成像素级未来视频。
很多时候,机器人需要的不是高清未来画面,而是“任务相关的未来状态表示”。如果 predictive representation 足够好,VLA 本身就能更稳健。
这可能是短期最实用的融合方式。
结语
VLA 没死。
死掉的,是把机器人智能理解成“看一眼图片,吐一个动作”的简单想象。
World Model 也不会单独统治一切。它能提供未来预测、候选动作评估和数据生成,但它仍然需要 VLA 的语义理解,需要低层控制器,需要 reward model,需要 embodiment adapter,也需要真实部署数据。
最终的通用机器人系统,大概率会长成这样:
VLA 负责语义理解和动作提议
World Model 负责未来预测和后果评估
层级规划负责长时序拆解
低层控制负责稳定执行
数据飞轮负责持续改进
所以这场路线之争的结论不是“VLA 已死”,也不是“World Model 万岁”。
更准确的说法是:
VLA 正在从单独的策略模型,变成具身智能系统里的一个模块。World Model 正在从研究概念,变成机器人学习系统里的预测和规划引擎。
2026 年真正重要的变化,不是哪条路线赢了,而是大家终于开始认真讨论:机器人能不能在行动前先想象,在失败后能不能自我改进。
这才是具身智能从 Demo 走向真实世界的关键一步。