苹果机器学习研究 团队于11月4日在arXiv提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统HALO。值得注意的不是苹果造了一台机器人——它至今没有本体——而是它把“机器人大脑”做成了一套可以开源的自主控制栈,连同数据生成、模型训练和部署代码一起公开。
宇树科技 的G1人形机器人被用作验证平台,HALO的目标是把仿真环境里学到的动作,直接带到没有预先扫描或建图的陌生真实房间里执行。换句话说,它要解决的是“从实验室演示到真实空间自主干活”那一跳。
整个系统被拆成三层协同控制,这是HALO与主流方案最不一样的工程选择。最上层是任务编排层,由视觉语言模型担纲,默认采用千问Qwen3.6-35B-A3B,跑在机器人自带的Mac mini上,不联网也能工作。
这一层负责处理指令里的模糊信息,并据此安排动作。比如“坐到椅子上”没有明确目标,它需要先从眼前场景判断坐在哪;如果通往椅子的路被桌子挡住,就再拆成俯身通过、接近椅子、坐下这些连续子任务。
编排层不只是一次性规划。它通过机器人视角的视频持续观察环境,判断当前动作是否成功,再决定推进下一步还是重试,每次只向下一层下达一个明确的子任务。这让“失败—纠正”闭环发生在控制链路内部,而不是靠外部重发指令。
中间层是动作生成层,由Qwen3.5-2B充当参数冻结的编码器,与负责生成动作的DiT解码器配合,根据看到的画面和当前子任务,规划未来约5秒的全身动作。它每秒重新规划约3次,使动作计划能随环境变化持续更新。
底层是动作跟踪层,经过强化学习和策略蒸馏训练,以每秒50次的频率运行,结合深度图像与机器人自身状态,把上层的动作计划翻译成具体的关节控制指令。高频、稳定的执行器,是真实场景里“不出错”的关键。
把三层串起来看,HALO的一个显著特征是边缘部署。任务编排和动作生成都跑在机器人本地的小型算力(Mac mini)上,不必依赖云端往返。对家庭、工厂这类对延迟和断网敏感的场景,这种“把大脑压到终端”的做法,比纯云端方案更接地气。
英伟达 H100也出现在训练账上。团队用250张H100约48小时合成主要训练数据;动作生成器通过模仿学习,使用64张B200;动作跟踪器经强化学习与策略蒸馏,使用4张H100。仿真数据仍非完全自动:新增物理任务要人工写提示词、设计动作关键帧,部分动作还借用了人类视频或动捕素材。
实验结果集中在“陌生环境能不能干活”。团队在6个未预先扫描或建图的真实环境里做了360次单项任务测试,平均成功率为91%。演示动作包括推箱子、跟随人、坐上椅子、侧身穿过半开的门,以及俯身或爬行穿过桌底——这些都不是预设轨迹复现,而是要经过环境辨识和随障碍调整姿态。
组合任务的表现明显更吃力。在1个真实环境里,对3种组合任务各测10次,平均成功率只有70%;其中“俯身通过障碍—走向目标—推箱子”这一组合仅50%。这说明长程、多约束的连续动作,仍是这类系统的短板。
要理解HALO的价值,最好把它和端到端VLA放在一起看。常见的VLA用一个模型从像素直接映射到动作,泛化强,但控制频率和可解释性往往要付出代价;一旦想换更强的模型,常常得重训整条链路。
HALO走的是另一条路:理解、生成、跟踪各用各的模型,模块之间只传递“子任务描述”和“约5秒的动作规划”这样的中间表示。分工带来的直接好处是每一层都能单独替换、单独训练——上层想换更强模型不必动底层,底层可以用强化学习继续磨高频稳定的执行器。
“不建图”是这套架构的另一个落点。传统做法往往先扫描建图、预设路径,环境一变就推倒重来;HALO的目标是在没有地图的真实空间里,靠持续视觉观察和“判断成败—重试”的闭环自己往前走。这也是为什么它能在完全陌生的房间里直接开工。
英伟达 研究院的GR00T 2选择把世界模型推到动作之前,用大模型先验去消化示范;苹果则把自主控制拆成可替换的模块、塞进终端本地跑。两条路线一个偏“大模型先验”,一个偏“模块化边缘自治”,但都在回答同一个问题:机器人怎么从“看懂”走到“做对”。
HALO也有明确的边界。论文指出,当前系统主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降。加入触觉感知,被团队列为下一步改进方向。
对行业而言,苹果这次的举动值得记一笔的不是某一项指标,而是它把“机器人大脑”的能力,以开源代码和可替换模块的形式摊开在桌面上——它自己不碰本体,却给“本体厂如何接住一个大脑”提供了一份参考实现。
这或许预示着一个分工:未来具身智能的竞争,不只在“谁的模型更大”,也在“谁能把大脑可靠地跑在终端、谁能让每一层被单独升级”。当控制栈变得像积木一样可替换,本体厂的迭代速度,可能比单点演示更接近真实量产。
本文基于公开报道整理。