作者:Yucheng,HoloMotion-1作者,目前在地平线机器人实验室负责相关研发工作
https://www.zhihu.com/question/2040119808587457550/answer/2076879019094684474
地平线开源 HoloMotion-1 机器人小脑大模型,最值得关注的不是4亿参数,而是人形运动控制的基础模型路线。
看到“4亿参数机器人小脑大模型”,很多朋友直接问我:控制机器人站起来、走路、跳舞,真的需要这么大的模型吗?我认为一个长期被低估的事实是:
控制不是高层智能完成推理之后一个简单的执行环节,而是智能本身。
HoloMotion-1 最值得关注的,也不是把一个传统控制策略机械地放大到了4亿参数,而是大规模运动数据、大容量时序模型和统一训练部署基础设施共同驱动的基础模型路线。如果这条路线得到进一步验证,那么它改变的将不只是控制模型的参数规模,也可能改变人形机器人扩展运动能力的方式。
小脑不“小”
先说一个反直觉的生理学事实。

人脑大约有 860 亿个神经元,其中大脑皮层约有 160 亿个,而小脑约有 690 亿个。换而言之,小脑只占大约 10% 的脑质量,却容纳了接近 80% 的神经元。大量体积极小、排列密集的颗粒细胞,使小脑形成了一种高度规则、密集而并行的神经结构。
这里需要说明,神经元数量并不等于计算量,更不能直接换算成模型参数量。如果一定要与人工神经网络类比,模型中的可训练参数在功能上更接近突触连接的权重,而不是神经元本身。
不同脑区的神经元类型、连接密度和回路结构也存在巨大差异,因此也不能根据“690 亿对 160 亿”,简单推导出小脑的总计算能力一定高于大脑皮层。
这个数字真正提供的启发是:负责运动协调、预测和误差修正的系统,并不天然是一个轻量的执行模块。“小脑”的“小”,更多描述的是它的解剖体积,而不是它所处理问题的复杂程度。
人类可以很轻松地说出“拿起桌上的杯子”,但要真正完成这个动作,神经系统需要同时协调视觉、本体知觉、平衡、手眼关系、关节运动、肌肉力量和接触反馈,背后需要大量细粒度计算。
因此,复杂智能的计算,并不只发生在“思考”里,也大量发生在“行动”里。
会思考,不等于会行动
过去几年,具身智能领域最受关注的方向是 VLA、世界模型、空间推理和长程任务规划。这些研究主要回答一个问题:机器人应该做什么。但从“知道做什么”到“真的把它做出来”,中间还隔着一个巨大的 embodiment gap。
假设高层模型输出了一条简短的指令:
走到桌边,把箱子搬起来。
要执行这条指令,机器人需要连续决定每只脚何时抬起、身体重心如何转移、手臂运动是否会破坏平衡、箱子负载如何改变动力学、地面摩擦是否与预期一致,以及上一个控制周期产生的误差应该如何在下一个周期补偿。
在典型的分层机器人系统中,高层规划面对的通常是相对离散、较低频和较长时间尺度的决策;底层全身控制面对的则是连续状态、强耦合动力学、接触切换、传感器噪声,以及几十毫秒甚至更紧的闭环预算。两者的困难并不能简单按照参数量排序,它们是在不同时间尺度和约束下解决不同的问题。
在数字世界里,模型预测错一个 token,往往还可以继续生成或者重新规划;在物理世界里,连续几个控制周期的误差就可能积累为失衡、碰撞或者任务中断。因此,机器人能力最终也会受到执行层稳定性和恢复能力的限制。
刚结束的第二届世界人形机器人运动会,100 米等高度专项化项目在特定赛制下,已经把成绩数字推到人类纪录附近甚至更快,但专项成绩不等于通用运动能力。把一个规则固定、目标明确的单项做到极致,与让同一台机器人稳定覆盖行走、奔跑、跳跃、多样全身动作和扰动恢复,仍然是两个层次的问题。下一阶段更重要的,是把分散在不同专项策略中的能力沉淀为可复用的通用运动底座,这也是 HoloMotion 希望探索的方向。
平台化,往往始于统一表示
个人过去从事自动驾驶感知,后来转向具身智能和人形机器人控制。两个领域虽然任务不同,但在它们的技术演进中可以看到一个非常相似的规律:
真正形成平台价值的,往往不是某个单点网络,而是把原本碎片化、依赖手工规则的链路,统一成一个能够被数据持续优化的表示和接口。
BEV 在自动驾驶中的价值,并不只是把图像转换成鸟瞰图。更重要的是,它让感知、定位、预测和规划能够在相对统一的空间中协作,使一部分原本依赖人工后融合规则的问题,逐渐转向统一表示下的数据驱动学习。

今天的人形机器人控制,也存在类似的碎片化。不同动作使用不同的策略,不同机器人需要重新适配,不同数据源采用不同格式,动作捕捉、视频恢复、遥操作和仿真数据之间缺少统一链路。从人体动作到机器人动作,还需要经过重定向、物理检查、强化学习、仿真评测和真机部署。
运动基础模型要解决的,不只是“让机器人多跳几段舞”,而是尝试建立一套统一的运动表示、策略模型和训练部署体系,使不同动作、不同数据以及未来的不同本体能够复用同一套能力底座。从这个角度看,HoloMotion-1 更像是对机器人执行层的一次平台化尝试。
传统控制的瓶颈:扩展成本
传统的人形机器人控制通常依赖 MPC、WBC、轨迹优化和状态机。这些方法具有明确的物理结构、可解释性和工程可靠性,在很多安全关键场景中仍然不可替代。它们的问题并不是“做不好一个动作”,而是当技能数量、环境类型和机器人配置不断增加时,规则、约束、任务状态和适配参数可能快速膨胀。团队可以分别为行走、跳跃、站起和搬运构建优秀的控制器,但每增加一种技能或一种本体,通常仍然需要大量的工程工作。
强化学习策略进一步提高了复杂动作的上限。过去几年,大量人形运动控制模型已经能够完成高动态运动、运动模仿和抗扰控制,但很多策略仍以专项模型为主:一个模型擅长运动跟踪,再一个模型负责摔倒恢复等。这类专项模型可以在单一任务上达到很高的性能,但随着技能数量增加,系统也可能重新回到多个策略、状态机和切换逻辑并存的状态。
基础模型路线并不是要消灭 MPC、WBC 或专项策略,而是希望把不同任务中可以共享的运动先验、平衡能力和时序结构尽可能吸收到统一模型中。它是否真正有产业价值,最终不取决于“一个模型能不能包打天下”,而取决于新增一个动作、新增一种硬件配置时,需要重新开发和调试的工作量是否能够下降。
数据、模型和系统共同 Scaling
HoloMotion 的公开版本经历了一次比较明显的规模变化:运动数据从约 80 小时扩展到 2000 小时以上,模型从约 6000 万参数扩展到 4 亿参数,同时机器人端的单步策略推理吞吐从约每秒 100 次提高到约每秒 300 次。这组数字有意思的地方,是数据、模型和系统必须相互匹配。动作数据覆盖范围扩大以后,模型需要有足够的容量吸收不同动作类型、运动风格和接触状态。

其中最直接的矛盾,是通用能力需要更大的模型容量,而实时控制要求单步计算足够轻量。传统稠密模型的总参数量和单步计算量通常会同步增长,HoloMotion-1 则使用稀疏 MoE 尝试将两者部分解耦:模型拥有约 4 亿总参数,但每个控制周期实际激活的参数约为 700 万。
这样做的目的并不是单纯制造一个更大的参数数字,而是希望在不突破机器人端计算预算的前提下,为更广的动作分布保留更大的模型容量。
因此,HoloMotion-1 所尝试解决的不仅是“参数越大越好”,而是:
在扩大运动数据和模型容量的同时,仍然让训练成本与机器人端推理开销保持在可接受范围。
当然,HoloMotion-1 并不是唯一人形机器人运动控制基础模型。SONIC 是这条路线中非常重要的代表,它把模型容量扩展到 4200 万参数,使用约 700 小时高质量运动数据,并沿数据、模型和训练计算量三个维度研究 scaling。HoloMotion-1 与 SONIC 的共同判断,是大规模运动跟踪可以成为通用全身控制的能力底座;
二者的主要差异在于技术重心。SONIC 更强调高质量动捕数据、统一 token 接口和面向下游任务的运动生成与控制;HoloMotion-1 则更强调以视频恢复动作为主体的 2000 小时以上异构数据、稀疏 MoE Transformer、长时序训练效率和嵌入式部署。
它们并不是两条互斥的路线,而是从不同方向验证同一个问题:运动跟踪能否从专项控制任务扩展为可复用的基础能力。
近期工作Scaling Behavior Foundation Model for Humanoid Robots又从另一个角度补充了这个问题:在 PPO 框架下,有效训练数据不只是参考动作本身,还包括策略与环境交互产生的 on-policy rollout;参考动作数量主要影响行为分布的多样性,而交互规模决定每次更新实际获得多少经验。这也提醒我们,控制 scaling 并不是参数量排行榜,而需要同时考察参考动作覆盖、在线交互数据、模型结构和训练效率。
互联网视频:机器人的“动作语料”
过去的机器人运动学习主要依赖高质量动捕数据。这类数据通常具有更准确、对齐更好的三维姿态和时序信息,也更便于估计接触状态,但采集成本高,最终能够覆盖的动作类型、运动风格和动作主体仍然比较有限。
这种限制不完全是增加采集预算就能解决的。专业运动员、顶尖舞者、武术或特技演员本身就是稀缺的数据主体;许多高水平动作还依赖特定场地、器械、对手和真实比赛状态。即使解决了授权、隐私和数据使用边界,也未必能让这些人进入动捕棚、穿戴设备,并按照研究者需要的形式重复动作。一些真实对抗、意外失衡和极限状态下的动作,离开原始环境后甚至很难复现。
互联网视频的价值,正在于它能够显著扩大可观察动作分布的覆盖范围。它包含舞蹈、体育、武术、健身、劳动和日常活动,也记录了不同身体条件、运动风格、交互对象和环境约束下的大量长尾动作。它并不一定比 动捕更精确,甚至单条数据的质量通常更差,但能够覆盖传统定向采集很难触达的人、场景和运动模式。换句话说,动作捕捉 提高数据的精度,互联网视频拓宽动作分布的边界。
HoloMotion-1 使用了以视频恢复动作为主体的混合数据体系,同时加入 AMASS、LAFAN1 等高质量 光学动作捕捉 数据,以及 VR 和惯性动捕产生的内部动作数据,总规模超过 2000 小时。这种混合并不是简单追求数据量,而是希望利用动作捕捉保证基础动作质量,用互联网视频扩展动作规模和长尾覆盖,再通过内部采集补充面向具体任务和硬件的动作分布。
但互联网视频“覆盖更广”,并不意味着其多样性天然有效。公开视频同样存在热门内容重复、类别分布失衡、视角偏差、剪辑、遮挡和动作主体偏差。真正有价值的不是下载了多少小时视频,而是最终获得了多少不同、可信、可重定向且具有训练增益的动作。
把互联网视频称为机器人的“动作语料”,也不意味着视频可以直接用于训练。视频恢复动作中会存在深度歧义、遮挡、尺度误差、脚底滑动、错误接触和不合理关节运动;即使人体动作恢复准确,也不能直接交给机器人执行,因为人体和机器人在关节拓扑、质量分布、运动范围和执行器能力上都不相同。
因此,真正有价值的并不只是原始视频,而是从原始视频到可训练机器人数据之间的完整数据引擎,包括动作发现与检索、人体动作恢复、去重与质量过滤、统一表示、人类动作到机器人的重定向、物理仿真验证、训练课程设计,以及最终的真机反馈。
从长期看,这套数据引擎有可能成为机器人基础模型的重要壁垒,但它是否真正形成壁垒,需要看三个更具体的结果:低质和长尾数据能否持续提高模型而不是引入负迁移,失败案例能否有效回流到训练分布,以及新数据能否真实降低新技能和新本体的适配成本。
公开视频本身并不稀缺,稀缺的是发现其中真正有价值的动作,并将大规模、异构、带噪的数据稳定转化为机器人可以学习、验证和执行的能力。
模型能做到又大又快吗?
当一个控制模型只需要完成少数动作时,稠密网络已经足够有效;但当同一个策略需要持续吸收更多动作类型、运动风格、接触模式,未来还要覆盖更多任务和机器人本体时,模型所需的能力容量会不断增长。
问题在于,稠密模型每增加一部分参数,通常意味着每个控制周期都要为这部分参数支付计算成本,而机器人控制又必须在严格的实时闭环中持续运行。
因此,真正限制控制模型继续扩展的,不只是参数量本身,而是总模型容量与单步计算量长期绑定在一起。
HoloMotion-1 参考大语言模型,使用稀疏 MoE,目的不是在“大模型”和“实时性”之间寻找一个保守的折中,而是直接改变两者之间的关系:模型可以拥有约 4 亿总参数,但每个控制周期只激活约 700 万参数。更大的总容量用于容纳更广泛的运动分布,而单步计算量仍然维持在机器人端能够承担的范围内。
从这个意义上说,MoE 不是简单的参数扩张技巧,而是让控制模型能够继续 Scaling 的关键结构。随着人形机器人逐渐走向多技能、多风格、多接触状态和多本体,模型不可能在每一个控制周期都无差别调用全部能力;它需要根据当前参考运动和控制条件,只选择与当前行为相关的一小部分计算路径。
未来控制模型未必一定采用今天这种 MoE 形式,但某种条件化、稀疏化的计算机制,很可能会成为通用运动模型继续扩展的必要条件。
HoloMotion-1 的公开配置包含 1024 个细粒度专家,每个 token 选择其中两个,同时保留一个共享专家。这里的专家不是人为划分的“走路专家”“跳跃专家”或者“平衡专家”,而是在训练过程中自动形成的隐式分工,可能对应不同动作类型、状态分布、运动风格或动力学区域,但并不保证具有清晰的人类语义。
稀疏计算同时也带来了新的问题。最直接的路由方式,是让 router 同时根据参考动作和机器人的实时本体状态选择专家;但仿真与真机之间细微的状态差异,可能让 router 在不同专家之间切换,从而把原本很小的 Sim2Real 偏差放大为计算路径和动作输出的不连续。
为此,HoloMotion-1 将专家路由与低层机器人状态解耦,主要根据参考运动决定路由,使相同参考动作在仿真和真机上更倾向于选择一致的专家路径。
这也说明,控制模型的 Scaling 不能简单照搬语言模型。语言模型中的路由误差可能只影响一次 token 预测,而控制模型中的路由变化会进入连续物理闭环,并在后续时间步中不断积累。对于机器人而言,模型不仅要拥有更大的能力容量,还必须保证这些能力被连续、稳定并且可预测地调用。
特有的时序训练加速手段
传统 PPO 并不要求逐帧训练,但在很多带历史记忆的模型中,每个时间点都会被单独作为一个训练样本,并重新计算一段与前后时刻高度重叠的历史信息。随着模型需要记住的历史越来越长,同一段轨迹会被反复计算,训练成本也会快速上升。
HoloMotion-1 改为以连续轨迹片段为单位进行训练,一次前向计算同时获得片段内所有时间点的结果,从而减少重叠历史的重复计算。在技术报告采用的特定模型、并行环境和测试条件下,训练吞吐量相较滑动窗口方案提升约 22 倍。这个数字代表两种具体实现之间的效率差异,并不意味着所有 PPO 任务都能获得同样的加速。
这项优化可能更有长期价值。模型能否持续扩大,不只取决于最终效果,也取决于随着数据量、历史长度和模型规模增长,训练成本是否仍然可控。只有底层训练效率足够高,大模型才不会停留在一次性的展示,而能形成持续训练、持续升级的产品和技术平台。
如何解读推理300FPS?
HoloMotion-1 通过稀疏 MoE 和 KV-cache 减少单步重复计算。在技术报告的嵌入式 profiling 设置下,稀疏 MoE Transformer 与 KV-cache 将策略评估延迟降低约 4 倍;最终策略在机器人端平台上可以完成每秒约 300 次单步推理,而当前真实机器人控制循环固定运行在 50 Hz。
对于 50 Hz 的控制循环,一个周期是 20 毫秒,真正需要确认的是模型的最坏情况延迟和抖动是否稳定低于系统预算,同时还要为状态估计、运动学计算、通信、安全检查和其他模块留下余量。
因此,比峰值 FPS 更有意义的指标包括单步延迟、P95/P99 延迟、抖动、内存占用、功耗,以及整套控制链路在持续运行时是否稳定。300 Hz 的价值只在于:在报告所使用的硬件和 50 Hz 控制设置下,模型推理具有较充分的时间余量;如果硬件、控制频率或系统结构发生变化,需要满足的目标也会随之变化。
运动控制的边际适配成本
人形机器人“小脑”有没有价值,不能只看它会多少个动作,而应该看新增一种能力的边际成本。如果每换一种机器人、增加一种手、加入一种负载或者进入一种地形,都需要控制团队从头训练和调试较长时间,那么即使每个单项能力都很强,系统也很难扩展。

基础模型真正希望改变的是这条成本曲线。模型在更多动作、配置和机器人上训练之后,新本体和新技能不再完全从零开始,而是在已有运动表示、平衡能力、时序先验和部署工具之上继续适配。
但需要强调,这目前更接近一项需要验证的产业假设,而不是已经自然成立的结果。更多本体也可能带来数据格式不统一、动力学差异、训练冲突和安全验证成本;只有当跨技能、跨配置和跨本体的迁移收益能够被稳定测量,这个飞轮才真正成立。
与高层语言和视觉模型相比,低层执行策略通常与机器人的运动学、动力学、传感器、执行器和安全系统耦合得更深。这并不意味着执行层必然更封闭或者更有商业价值,但意味着它的积累不只来自模型结构,也来自跨硬件部署经验、真实失败数据、控制接口和长期工程验证。
因此,个人认为具身智能中长期存在一个经常被低估的平台机会:在高层任务意图与不同机器人身体之间,建立可复用、可部署的全身执行层。
可复现的共同接口
HoloMotion 开放的不只是一个模型参数文件,而是从动作数据整理、人体到机器人重定向、强化学习训练、仿真评测、模型导出,到 ROS2 真机部署的完整流程。开发者可以直接运行预训练模型,也可以加入自己的动作数据重新训练和部署。
在人形机器人行业早期,开源并不只是传播手段。当前行业的一个现实问题,是不同团队使用不同的数据格式、机器人接口、评测方式和部署链路。即使论文中展示了很好的结果,第三方也很难判断差异究竟来自模型、数据、奖励函数,还是没有公开的工程细节。完整开源系统的价值,在于提供一个可以复现、比较、修改和部署的共同起点。
仍然没有解决的问题
HoloMotion 当前的主要任务仍然是给定参考运动,让机器人稳定地跟踪和模仿。公开路线图将能力划分为四个阶段。
当前完成的是第一个阶段模仿动作;命令跟随、复杂地形和真正的跨本体泛化仍然是后续问题。尤其需要强调的是,在同一款 G1 上覆盖不同头部、手部和负载配置,与跨不同关节拓扑、尺寸和执行器的人形机器人,是两个难度等级不同的问题。
真正的跨本体泛化,需要模型表示不同机器人的运动学和动力学差异,并将相同运动意图映射为不同身体上的可行动作。它可能需要统一本体表示、跨本体数据、生成式运动先验、在线适配和更系统的安全约束。这部分目前远未解决,也是未来值得持续投入和验证的方向。
物理世界最终奖励的是兑现能力
HoloMotion-1 没有解决所有全身控制问题,但把一个过去较少被系统讨论的问题摆到了台面上:
当运动数据从几十小时扩大到数千小时,当动作来源从干净 MoCap 扩展到互联网视频和真实遥操作,当机器人需要覆盖越来越多技能和配置时,传统的小型专项策略是否仍然是最终形态?
它给出的初步回答是:未必。
未来具身智能的竞争,不会只发生在谁拥有更强的 VLA 或世界模型、谁能完成更长程的任务规划;另一个同样重要的问题是,谁能够建立一个可复用的身体能力层,以更低的数据和工程成本,将任务级意图转化为满足动力学、接触、平衡和硬件约束的全身行为,并稳定迁移到更多真实人形本体上。
在具身系统中,能力不是由高层模型单方面决定、再交给身体被动执行,而是在任务意图、运动能力与物理反馈的闭环中共同形成。
全身运动控制既要把抽象意图映射为满足动力学和接触约束的身体行为,也会通过自身的能力边界,反过来决定高层系统能够规划和完成哪些任务。这也是人形机器人运动控制基础模型值得被重新认识的原因。