作者：Kaichen Zhou
青稞社区为科研人员提供成果宣传支持，如有优秀研究成果分享推广，欢迎投稿联系：aiFreeCode

每任务 30 条遥操作示范，让触觉在视觉更新之间及时修正动作。 在四项真实机器人任务上，T-WLA 将平均成功率从 17.0% 提升至 50.0%，增加 33 个百分点。在人体手部预测中，它还将 EgoTouch 的手指关节误差降低 30%。一份持续保留任务上下文的视觉记忆，连接起了视觉规划与快速接触反馈。

MIT（麻省理工学院）与哈佛大学团队，联合加州大学戴维斯分校、加州大学伯克利分校研究者提出 T-WLA。 团队关注机器人执行中的一个时间差：视觉模型已经规划好一段动作，但物体与指尖的接触状态，可能在下一次视觉更新之前发生变化。

论文标题：T-WLA: Bridging Slow Vision and Fast Touch
项目主页：https://t-wla.github.io
作者：Kaichen Zhou、Yuzhen Chen、Hannah Yao、Chonghe Jiang、Rao Fu、Xihang Yu、Wei Dai、Bashar Kabbarah、Haoyu Chen、Ishita Goluguri、Zhiyang Dou、Haonan Chen、Fangneng Zhan、Mengyu Wang、Wojciech Matusik、Antonio Torralba、Paul Pu Liang。Kaichen Zhou、Yuzhen Chen 与 Hannah Yao 为共同第一作者

把一个纸杯套入另一个纸杯，机器人不仅要对准杯口，还要在抓持与放入过程中避免把杯壁捏变形。T-WLA 为视觉策略接入一个保留任务上下文的“触觉编辑器”：视觉分支生成动作片段并缓存视觉记忆，触觉分支再利用新到来的接触信息，修改尚未执行的动作。触觉更新无需重新运行视觉分支，也不需要每次重新生成整段计划。

真实机器人纸杯套叠：SmolVLA 与 T-WLA 的执行对比。

这套设计同时覆盖人类手部动作预测与真实机器人操作。T-WLA 在 EgoTouch 五类环境和 Tachin 测试集上均取得最低的已报告预测误差；有效触觉纠偏频率达到 119.1 Hz，高于所比较基线中的最高值 69.0 Hz。 更细的手指预测与更频繁的接触修正，在同一条轻量通路中实现。

接触变化发生在下一帧视觉更新之前

视觉能够帮助机器人找到目标、理解任务并规划接近路径。接触建立之后，指尖是否夹紧、物体是否滑动、负载是否变化，则往往需要触觉提供更直接的信息。如果机器人必须等视觉模型再次推理才能调整，接触变化与动作修正之间就会出现空档。

单独给触觉分支一张压力图，也不足以决定下一步该怎样动。同样的压力变化，在套叠纸杯、捏起纸张和拖动纸袋时可能对应不同的调整。快速反馈需要接上当前任务、先前观察和正在执行的动作。

T-WLA 把这个连接交给共享视觉记忆。视觉分支保存与任务相关的历史信息，触觉编辑器读取这份缓存，再结合近期接触变化进行修正。视觉不必在每一次触觉更新时重新推理，触觉也能利用既有计划与场景上下文。

视觉与语言提供目标和动作计划（机制示意）。

接触反馈揭示执行中的变化，帮助调整正在进行的动作（机制示意）。

T-WLA 用共享上下文连接视觉规划与触觉编辑器（机制示意）。

用共享视觉记忆连接慢速规划与快速纠偏

T-WLA 方法总览：视觉更新生成基础动作与记忆，触觉更新读取缓存并修正剩余动作（论文 Figure 2）。

先把当前观察与视觉历史汇入同一份记忆

每次 RGB 更新到来时，模型通过学习到的查询，从视觉记忆库中检索历史信息，再与当前图像、任务指令共同送入视觉语言模型。输出的视觉记忆既用于生成基础动作片段，也会被保留给触觉编辑器。

这让前后两条通路共享同一份任务理解。视觉分支不只是告诉机器人“接下来做什么”，还把决定这一计划所依赖的上下文交给快速分支。在下一次视觉更新之前，基础动作片段与视觉记忆保持缓存状态。

触觉每次只改尚未执行的动作

触觉编辑器把近期触觉历史编码为触觉上下文，再结合缓存视觉记忆、原始动作片段以及已经经过的时间，计算残差修正。模型通过一个小型 Transformer 和 FiLM 调制，把新接触信息转化为动作调整。已经执行的动作与无效位置会被屏蔽。

每次修正都相对于最初缓存的基础动作片段计算，而不是在上一次修正结果上继续累加。 新的触觉反馈可以更新对剩余动作的判断，同时保留基础计划作为参照。缺少触觉输入的手则不施加这项修正。

用未来图像与压力监督当前的控制表示

动作示范告诉模型应该执行什么，但相近的当前状态仍可能导向不同的后续接触结果。T-WLA 在训练时加入未来图像预测与未来压力预测，让控制表示同时学习动作之后可能发生的变化。

图像预测帮助视觉记忆保留与后续交互相关的信息；压力预测则结合视觉记忆、触觉上下文和接下来要执行的动作，监督后续接触状态。两类目标与动作监督共同训练表示，预测的未来观测不会作为真实输入交给控制器。

训练分阶段进行：先训练视觉分支，并在同步触觉和人体手部姿态历史上预训练触觉编码器；随后冻结视觉分支，利用它缓存的记忆与动作片段训练触觉编码器和残差编辑器。进入机器人适配之前，T-WLA 的训练使用人体手部数据。

未来图像与压力预测头在推理时全部移除。 部署时保留的是视觉规划、记忆缓存和轻量触觉纠偏通路，不需要在每一次触觉更新时额外生成一幅未来图像，也不需要运行完整的未来轨迹仿真。

这一设计把预测监督用于训练，把快速修正留给执行。视觉负责在较慢的节奏下更新任务计划，触觉负责利用两次视觉更新之间的新信息，细化正在执行的动作。

手指关节误差降低 30%
触觉纠偏达到 119.1 Hz

研究在 EgoTouch 的家庭、工作台、办公室、零售与户外五类环境，以及 Tachin 的完整留出测试集上评估未来手部动作预测。对于原本不接收触觉的基线，研究接入相同的同步触觉流，并匹配任务特定触觉编码器、预测头和优化预算。

表 1 手腕相对手指关节 MPJPE，单位为厘米，越低越好；触觉频率为论文多速率协议下的有效纠偏频率。EgoTouch 为五环境宏平均。来源：论文 Table 1。

T-WLA 将 EgoTouch 的手指关节 MPJPE 从最强已报告基线的 0.50 厘米降至 0.35 厘米，降低 30%；Tachin 从 0.63 厘米降至 0.46 厘米，约降低 27%。这项指标在手腕相对坐标中评估，因此改善不只是来自更准确的全局手腕位置。手腕平移与旋转误差也有所改善，但手指构形的收益更突出。

人体手部预测：同一记录中的 T-WLA 与多种触觉增强基线对比，保留来源视频的 0.25 倍播放速度。

每任务 30 条示范
真实机器人平均成功率达到 50%

研究团队将模型适配到带有指尖触觉传感器的双臂灵巧操作平台，测试鸡蛋转移、单张薄纸拾取、纸杯套叠与纸袋拖动。每项任务使用 30 段遥操作示范。四任务平均成功率从 SmolVLA + tactile 的 17.0% 提升到 T-WLA 的 50.0%。 这里比较的是两套完整系统。

表 2 四项真实机器人任务成功率。各任务使用 30 段遥操作示范进行适配，平均值对四项任务等权计算，增益为百分点。来源：论文 Table 2。

真实机器人薄纸拾取：SmolVLA 与 T-WLA 的执行对比。

进一步与 T-WLA 自身的无触觉版本比较，平均成功率从 47.25% 升至 50.0%，增加 2.75 个百分点。其中薄纸拾取从 72% 升至 78%，增益最大。完整系统的提升，与触觉分支本身的增量，是两个不同的比较：共享记忆和训练设计建立动作基础，触觉再对接触过程进行细化。

视觉历史与触觉反馈在不同环节发挥作用

消融实验进一步检验了这种分工。移除触觉输入后，EgoTouch 与 Tachin 的手指关节误差分别增加 22.9% 和 8.7%。移除循环视觉记忆时，Tachin 的手腕平移与旋转误差分别增加 21.6% 和 9.4%。接触信号更直接地影响细粒度手指动作，视觉历史则补充当前画面未必保留的运动上下文。

辅助预测的收益也可以单独测量。把视觉记忆容量从 8 组缩短到 4 组，六项误差指标的平均增幅为 2.3%；在编辑器训练中移除两类世界预测目标，平均误差增加约 1.0%。这些结果支持保留历史与预测监督，同时表明各组件带来的增益大小并不相同。

视觉分支报告的更新频率为 39.7 Hz，触觉纠偏为 119.1 Hz。 两者约为 1∶3，描述的是论文协议下两条分支的更新节奏，并非机械臂电机命令频率。缓存视觉记忆与基础动作，使快速通路能够更新剩余动作，而不重复支付视觉分支的推理成本。

让已有视觉计划接得住新的触觉反馈

T-WLA 的收益仍然取决于任务环节。纸杯套叠中，完整模型与无触觉版本的成功率均为 17%，低于 T-Rex 的 22%。稳定抓持只能解决其中一部分问题，后续对齐与放置仍会影响结果。触觉并没有消除基础计划中的所有错误。

目前的真实机器人评估集中在四项接触敏感任务，平均成功率仍为 50%，距离稳定部署还有改进空间。下一步需要检验这套视觉记忆与触觉编辑接口，能否覆盖更丰富的物体、接触条件和长程操作。

T-WLA 给出了一条把视觉与触觉连接起来的具体路径：让任务上下文跨越视觉更新间隔，让接触变化及时进入正在执行的动作。 人体手部数据中的预测改善与四项真实任务中的操作收益，为这种共享记忆、分速率纠偏的架构提供了实验依据。