在陌生房间里，你向左转身，门从眼前移到了右侧。你知道，门没有动，变的是自己的朝向。但视觉语言模型（VLM）即使能认出每一帧里的门，也未必能准确判断这次转向。再多走几步，它还需要把沿途的变化连起来，才能知道最终到了哪里。
这揭示了空间智能中的一个关键差别：看懂每一帧，不等于理解一个连续变化的世界。现有空间训练更多关注物体属性与位置关系，对状态变化的直接监督却相对有限。我们期待模型理解“怎样到了这里”，训练却更多在问 “此刻在哪里”。
孩子在摆弄物体、转身和探索中逐渐理解空间。交互天然连接了前一次观测、一个动作和下一次观测，也提供了学习变化的直接线索。能否让模型也从交互中学习，既理解每一步发生了什么，又判断这些变化共同构成了怎样的路径？
近日，浙江大学 OmniAI 团队提出 Spatial-Interactor，让视觉语言模型从交互轨迹中学习空间推理：先识别物体运动和视角变化，再整合这些局部变化，理解完整轨迹。
围绕这一思路，团队设计了三层交互课程，通过低成本、可扩展的自动化流程，构建包含约 10.8 万条问答的 LSI-108K 数据集，再以监督微调与 On-Policy Distillation 相结合的两阶段训练，将交互经验用于空间推理。
论文：https://arxiv.org/abs/2609.23038
项目主页：https://zju-omniai.github.io/Spatial-Interactor/
代码：https://github.com/ZJU-OmniAI/Spatial-Interactor
数据与模型：https://huggingface.co/collections/kagakouko/spatial-interactor
问题不只是看见，而是理解变化
桌子从画面左侧移到了右侧，可能是桌子被推走了，也可能是相机转向了。相似的视觉变化，背后可能是完全不同的物理过程。模型要理解空间，首先需要分清：是世界变了，还是观察世界的位置变了？
即便分清了每一次前进和转弯，模型也未必知道走完之后在哪里。空间推理需要解决两个相连的问题：一是识别局部状态变化，二是按时间顺序整合这些变化，持续更新对位置与朝向的判断。
论文的初步诊断发现：打乱视频帧序后，基础模型在部分空间问答任务上的分数变化很小；而在相机位移任务中，补充按时间排列的分段运动描述，可以帮助模型作答。这提示我们，问题不只是给模型更多画面，还在于让它学会利用画面之间的变化。
交互轨迹恰好把这些联系保留下来：之前看到了什么，发生了什么动作，之后又看到了什么。物体的一次移动、相机的一次转向，都能成为连接前后观测的学习信号。训练目标也由“这一帧里有什么”，延伸到“发生了什么变化，以及它带来了什么结果”。
三层课程：模型怎样从交互中理解空间？
Spatial-Interactor 将学习过程组织为三个层级：L1 理解外部世界的变化，L2 理解自身运动带来的视角变化，L3 整合完整轨迹。这条路径连接了两种能力：理解一次变化，以及整合连续变化形成的空间关系。
L1：观察外部世界怎样变化
物体被移动了，柜门被打开了，机械臂把积木放到了另一处。在 L1 的被动世界状态转移任务中，模型根据操作前后的画面，推断动作、顺序与结果。它需要把可见的差异，联系到实际发生的物理变化。
L2：理解自身运动怎样改变视角
当环境基本不变时，前进、平移或转身，同样会改变眼前的画面。L2 的主动自状态转移任务要求模型借助不同视角中的共同物体，判断观察者的运动。关键在于把不同画面对应回同一个环境，理解视角变了之后，物体之间的关系如何呈现。
L3：把连续变化整合为完整轨迹
L3 将时间范围扩展到完整相机轨迹，考察路径、转弯、起终点位移与重访关系。模型不仅要识别发生过哪些运动，还要结合运动顺序与每一步的朝向，判断它们共同构成了怎样的路径。
例如，从相同位置和朝向出发，“先前进再左转”与“先左转再前进”动作相同，却可能到达不同的位置。长程推理的关键，不是列出动作清单，而是理解这些动作怎样依次改变空间状态。
低成本构建：让交互持续产生训练数据
交互不仅提供了学习目标，也提供了构建数据的依据。在模拟环境中，动作和前后状态可以直接记录；在真实轨迹中，相机位姿、物体跟踪与机械臂运动同样记录了空间变化。团队将这些信息转化为问答，形成低成本、可扩展的自动化构建流程。
低成本的关键，是让交互记录本身提供答案依据。物体移动了多远、相机转向了哪里，可以从动作与几何信息中推导，再通过模板生成问题。空间标注由此从逐题编写答案，转向对已有交互记录的计算与复用。
同一条轨迹也不必只对应一道题。局部片段可以用于动作识别和视角判断，完整轨迹则支持路径与位移推理。一份交互记录能够提供不同时间尺度的监督，让数据复用与三层课程自然结合。
这也为持续扩展留下了空间：新的场景和带动作或几何信息的轨迹可以接入同一流程，新的任务模板则能从已有记录中生成更多问题。扩展数据规模与任务覆盖，不必每次从头设计一套采集和标注方案。
LSI-108K：把三层课程落到数据上
基于这条流程，团队构建了 Learning from Spatial Interaction 数据集，即 LSI-108K，包含约 10.8 万条可核验的空间问答。它将模拟与真实轨迹中的交互经验组织为三层课程，让模型既学习单次动作带来的变化，也学习整段经历中的空间联系。
两阶段训练：从局部变化到长程整合
SFT：学习局部状态变化
第一阶段采用监督微调（SFT），结合 L1、L2 交互数据与公共空间问答。模型既要从前后观测推断动作，也要判断动作带来的空间结果，将视觉差异与物理变化联系起来，为长程轨迹理解打下基础。
OPD：为长程推理提供过程指导
长程任务多了一层困难：最终答案错了，并不能直接指出中间哪一步出了问题。模型可能漏掉一次转弯，混淆某段运动的方向，也可能识别出了局部变化，却没有正确更新后续的位置关系。
第二阶段因此在 L3 上引入 On-Policy Distillation（OPD）。它在最终答案反馈之外，加入针对推理过程的指导：不仅评价终点是否正确，还帮助模型学习如何把沿途的变化联系起来。
训练时，视觉标注模型先生成按时间排列的分段运动描述。学生只看视频和问题，生成自己的推理；教师分支采用同一策略的参数，但额外看到这些描述。教师的优势来自更充分的过程信息，而不是更大的模型。
更关键的是，**教师沿着学生自己生成的推理提供指导。**它不另写一份完整答案让学生模仿，而是在学生已经推理到的位置，借助分段信息指导下一步。这样，过程监督就落在了学生实际经历的推理路径上，与最终答案的反馈共同发挥作用。
这一设计把训练时的信息优势，用来帮助学生学习长程整合。部署时仍由学生独立作答，只接收视频与问题，不需要额外的轨迹描述或教师分支。
八个空间基准：模型表现如何？
研究在 Qwen2.5-VL-3B、7B 与 Qwen3-VL-4B、8B 四个基础模型上进行验证。八个评测基准覆盖视频与多视图空间任务，也包括未用于训练的基准，用于检验模型提升与跨任务迁移。
| Model | VSI- Bench | MindCube | VSTI- Bench | SPBench- MV | MMSI | View Spatial | SAT-Real | SAT-Syn |
|---|---|---|---|---|---|---|---|---|
| Qwen2.5-VL-3B | 27.0 | 33.2 | 38.6 | 36.6 | 29.0 | 35.6 | 56.7 | 56.3 |
| Spatial-Interactor-3B | 50.4 | 59.3 | 48.3 | 64.5 | 29.9 | 44.3 | 62.0 | 58.7 |
| Qwen2.5-VL-7B | 37.9 | 29.3 | 39.0 | 34.0 | 27.7 | 36.3 | 54.7 | 57.5 |
| Spatial-Interactor-7B | 49.0 | 74.3 | 49.5 | 67.6 | 31.2 | 42.4 | 74.0 | 62.5 |
| Qwen3-VL-4B | 52.8 | 27.2 | 44.8 | 64.2 | 29.0 | 35.2 | 60.7 | 60.9 |
| Spatial-Interactor-4B | 57.2 | 80.3 | 47.1 | 70.3 | 31.0 | 43.5 | 72.7 | 65.7 |
| Qwen3-VL-8B | 55.7 | 29.4 | 43.3 | 65.1 | 30.8 | 40.3 | 52.7 | 43.6 |
| Spatial-Interactor-8B | 60.0 | 88.4 | 47.1 | 68.0 | 32.2 | 44.3 | 74.0 | 59.5 |
四组基础模型与 Spatial-Interactor 在八个空间基准上的对比。MindCube 使用 Tiny 设置，SPBench-MV 为多视图设置，各列均为分数越高越好。
首先，提升同时出现在视频与多视图任务中。 以 7B 模型为例，VSI-Bench 从 37.9 提升到 49.0，VSTI-Bench 从 39.0 提升到 49.5；在多视图 SPBench-MV 上，则从 34.0 提升到 67.6。模型的改善并不局限于一种输入形式。
其次，在未用于训练的基准上，提升仍然可见。 MMSI、ViewSpatial、SAT-Real 和 SAT-Syn 检验了这一点：7B 模型在 SAT-Real 上从 54.7 提升到 74.0，3B 模型在 ViewSpatial 上从 35.6 提升到 44.3。
这些结果说明，围绕状态变化组织学习的价值，不只体现在训练中见过的问题上，也体现在对新空间任务的迁移上。从视频到多视图、从训练相关基准到域外评测，模型都需要把分散的视觉证据联系起来。
从回答空间问题，到参与环境交互
空间推理最终还要服务于行动。 团队进一步将模型接入 WalkerBench 和 ESI-Bench，检验它能否把问答中学到的空间判断，用于与环境的连续交互。在这些模拟任务中，动作会改变后续观测，模型需要结合新的反馈继续作出判断。
WalkerBench Standard-100
| Model | Angle | Distance | Height | Navigation | Visibility | Overall | Steps |
|---|---|---|---|---|---|---|---|
| Base | 5.0 | 0.0 | 25.0 | 5.0 | 0.0 | 7.0 | 17.71 |
| Spatial-Interactor | 20.0 | 0.0 | 40.0 | 10.0 | 0.0 | 14.0 | 6.52 |
ESI-Bench
| Model | Rigid | Stability | View | Occlusion | Distance | Agent obs. | Unobserved | Action order | Overall | Steps |
|---|---|---|---|---|---|---|---|---|---|---|
| Base | 33.3 | 26.7 | 56.7 | 23.3 | 50.0 | 20.0 | 26.7 | 26.7 | 32.9 | 12.34 |
| Spatial-Interactor | 40.0 | 36.7 | 63.3 | 33.3 | 56.7 | 33.3 | 33.3 | 33.3 | 41.2 | 10.55 |
WalkerBench 使用 Standard100；ESI-Bench 展示八个选定类别，每类对比相同的 30 道题。
在 WalkerBench Standard100 上，成功率从 7.0% 提升到 14.0%；在 ESI-Bench 展示的八个类别上，平均分从 32.9 提升到 41.2。这为同一条思路提供了初步证据：从交互中学习空间关系，也能帮助模型更好地参与交互。
总结与展望
Spatial-Interactor **把交互从检验模型能力的场景，变成了培养空间能力的监督来源。**三层课程组织学习目标，自动化流程持续构建数据，SFT 与 OPD 则将局部变化理解连接到长程轨迹整合。
这项工作的启发是，**空间智能不只取决于模型看过多少画面，也取决于它怎样学习画面之间的联系。**动作改变了世界或观察视角，新的观测又记录了变化的结果。把这些联系组织成学习信号，是从静态空间判断走向连续空间理解的一条路径。
回到开头那个陌生房间：我们希望模型不仅能在转身后重新认出一扇门，还能理解眼前所见与刚刚走过的路径之间的关系。下一步，是让这种能力支撑更长、更复杂的交互，并走向真实环境中的任务。
团队介绍
浙江大学 OmniAI 团队致力于大模型与智能体、多模态空间推理、具身智能和情感交互等方向的研究。
共同第一作者为姚凯翔、王旭。通讯作者为张文祺，张旭鸿为 OmniAI 团队负责人。