
ACE-Data-0 是 南洋理工大学 S-Lab 和大晓机器人联合开源的一个面向具身智能与机器人学习的人类中心、多模态、长时程交互数据集。

基于环境式采集系统 ACE,将真实家居环境转化为空间标定、时间同步的数据采集平台,同时记录第一视角与多视角视频、全身与手部运动、物体几何及六自由度动作、运动轨迹、多通道音频和触觉信号。

数据覆盖精细的人-物交互操作、连续家务任务链以及人-场景交互,并保留不同参与者在真实任务执行中的自然行为差异。

与仅关注单一视角或短时动作的数据集不同,ACE-Data-0 旨在完整记录人类完成目标过程中感知、动作、接触与环境变化之间的联系,为理解长时程行为和物理交互提供统一的数据基础。

8月6日(周四)晚8点,青稞Talk 第143期,新加坡南洋理工大学(MMLab@NTU)博士后研究员操雨康,将直播分享ACE-Data-0,包括介绍 ACE 的系统设计、同步与标定流程、数据组织与标注体系,以及围绕感知、状态恢复和交互理解建立的基准任务,并讨论其在模仿学习、世界模型、视觉-语言-动作模型和通用机器人智能中的应用价值。
青稞介绍
操雨康,目前在新加坡南洋理工大学(MMLab@NTU)担任博士后研究员,导师为刘子纬教授 。在此之前,他于于2020-2024年在香港大学攻读博士学位,导师为Kenneth Kwan-Yee Wong教授,并获有香港大学校长奖学金等。此前于2020年本科毕业于浙江大学。
博士期间,他曾于 2022 年在腾讯 ARC Lab ,2024 年在上海人工智能实验室从事研究工作。研究期间,他有幸与韩楷教授及曹炎培博士深入合作。他目前的研究聚焦于以人形机器人为中心的具身智能,围绕“人—物体—场景”三大核心要素,从三维重建、仿真、运控、数据等角度进行探索。
他已在 CVPR、NeurIPS、ICCV、SIGGRAPH、ICLR 、IJCV等顶级会议及期刊以第一作者身份发表十余篇论文,包括DreamAvatar、HSImul3R、AvatarGO,CrowdMoGen、ACE-Data-0等。
主题提纲
新一代具身智能数据范式ACE-Data-0:以人为中心的环境式采集构建具身数据引擎
1、具身数据的瓶颈与采集难点
2、环境式数据采集系统 ACE 的系统设计
3、同步与标定流程、数据组织与标注体系
4、围绕感知、状态恢复和交互理解建立的基准任务
5、在模仿学习、世界模型、VLA 和通用机器人智能中的应用价值
6、AMA (Ask Me Anything)环节
直播时间
8月4日(周四)19:00 - 21:00