没人遥控过一秒，宇树G1在没见过的屋子里坐沙发、钻桌底：苹果用仿真数据练出HALO，360次实测成功率91%
苹果研究团队发布人形机器人系统HALO，训练数据几乎全部在仿真里生成，让一台宇树G1在6个陌生真实环境里完成走向物体、坐椅子、钻桌底、推箱子等6项技能，360次单项测试成功率91%，全部模型在机器人身上运行。
一台宇树G1，在从没进过的客厅、办公室和卧室里，听一句“去椅子上坐下”，自己找到椅子坐下；听一句“把箱子推开”，自己走过去推。训练它的数据里没有一秒钟遥操作，大部分动作是在仿真里生成的。
这套系统叫HALO，是“仿真中学会、在机载运行的人形自主系统”的英文缩写，论文11月4日公开，8位作者全部来自苹果，第一作者Siyuan Hu，最后一位作者是Vladlen Koltun。数据生成、训练和部署代码已经放上苹果机器学习研究团队的GitHub。
团队的出发点是：遥操作和穿戴式动作捕捉，采一小时数据至少要花一小时人工。HALO改成全自动造数据：用动作扩散模型Kimodo按文字描述、路径点和少量关键帧生成全身动作，放进程序化生成的1000个房间里，其中客厅45%、办公室30%、卧室25%，再用英伟达Isaac Sim按机器人自带鱼眼相机的视角做光线追踪渲染，并随机加上模糊、噪点、曝光和色偏。最终得到162698段、约296小时的训练数据，覆盖6项技能。
机器人身上的控制分三层，各跑各的节奏：最上层是一个现成的视觉语言模型，约每2秒把一句指令拆成子任务、判断该往下走还是重试；中间的动作生成模型约每秒3次，看着相机画面规划未来5秒的全身动作；最下层的跟踪策略每秒50次，结合深度图和本体感知，把规划变成29个关节的目标值。
硬件是一台原装G1，只加了两样东西：头部支架上一台OAK-1W广角相机，背上一台装在外壳里的Mac mini（M4 Pro芯片、64GB内存）。Mac mini跑上两层模型，跟踪策略跑在G1自带的英伟达Jetson Orin NX上，全程不拖线。
实测在6个没有预先建图的真实环境里进行，每项技能在每个环境测10次：走向物体92%、坐椅子85%、侧身穿过半开的门93%、蹲身钻到桌下100%、爬过矮桌90%、推箱子88%，平均91%，与100个仿真房间里的平均成功率持平。
把几项技能串起来就难了：先过门再走向物体10次全成；先钻桌底再坐下成功6次；钻桌底、走到箱子旁再推箱子成功5次。消融实验显示，只用1个房间训练时坐椅子成功率是43%，用满1000个房间升到84%；把扩散解码器换成普通回归降到19%；跟踪策略去掉深度图降到74%。
团队在论文里写明，每加一项新技能，仍要有人写提示词、编关键帧；机器人没有触觉，6项技能也都不涉及用手抓取物体。作者提出的下一步，是加入原地转身、四处搜寻这类失败后的恢复动作。