每天进步一点点之具身模型学习笔记

2026-11-08 21:10:175℃

【国信汽车】

苹果HALO机制:11月4日,苹果团队在arXiv上发布机器人自主控制系统HALO,在宇树G1上的真实测试覆盖6个训练中未见、未经扫描的环境。针对6类单项技能开展360次测试,平均成功率达到91%。我们深入学习了苹果发布的论文,有几个亮点:

1、模型架构:采用分层架构,VLM任务规划器+VLM–DiT运动生成器+强化学习运动跟踪器。任务规划器默认采用Qwen3.6-35B-A3B,负责任务理解、子任务拆解和执行进度判断;运动生成器使用冻结的Qwen3.5-2B理解图像与子任务文字,通过DiT生成全身参考运动,承担主要的VLA功能;底层运动跟踪器结合参考运动、深度图、关节状态和IMU,持续调整关节目标,处理平衡、接触和执行偏差。#从功能分工看,可类比为S2任务规划、S1运动生成、S0运动控制。

2、训练数据:核心数据在仿真中生成,人工设计任务模板、路径和关键姿态→利用Kimodo等生成动作→利用Infinigen生成房间→将动作与目标物体放入场景→渲染机器人第一视角画面。核心配对语料包含约16.3万条片段、296.3小时数据,覆盖6类技能、10条训练指令。主要数据生成使用250张H100,耗时约48小时。

3、本地部署:宇树G1背部搭载MacminiM4Pro、64GB内存,运行任务规划器和运动生成器;G1机载JetsonOrinNX运行深度估计和运动跟踪器。

4、和Astra+π0.5的区别:Astra+π0.5的范式主要完成的任务是细粒度的操作控制(manipulation),比如用机械臂完成抓取、摆放等任务;而苹果HALO主要是移动控制(locomotion),比如行走、俯身、爬行、坐下等。

核心观点:

1、分层架构继续获得研究验证。HALO与Astra+π0.5都采用高层任务理解与低层动作执行相结合的设计,S2作为高层任务理解、子任务拆解的角色在越来越多的头部机器人厂商当中得到应用。

2、仿真数据展现出较强的迁移价值。HALO通过合成数据实现91%的单项任务平均成功率。但是仿真数据的组合任务成功率仍有提升空间,平均成功率70%,其中“俯身→走向目标→推箱子”三步骤任务成功率仅50%。

3、HALO与Astra+π0.5的任务侧重点不同。HALO重点提升全身运动技能在陌生环境中的执行能力,即移动控制能力(locomotion);Astra+π0.5主要探索机器人的操作控制能力(manipulation)。

4、持续关注触觉、精细操作和多任务衔接。HALO当前主要展示粗粒度的全身运动与环境交互技能。触觉、灵巧操作、多任务衔接等方面的能力后续值得重点关注。


作者声明: 本文转载自第三方,旨在提供资讯参考,并非证券推荐或投资建议。作者对内容的真实性、准确性不承担保证责任。本文不构成任何投资建议或证券推荐。截至发文日,作者与文中提及的标的不存在持仓关系。

标签: 机器人苹果

合规声明:本站发布的所有文章及观点均系个人研究共享,投资心得交流,不代表本站立场,且不构成任何形式的投资建议。投资者据此操作,风险自担,请务必保持独立审慎的决策态度。