【天风电新&汽车】机器人模型更新:苹果HALO,用合成数据帮助真机数据进行scaling
1、论文成果
HALO要解决的问题是:以往训练机器人要大量的真机遥操数据,费时费力,那能不能直接让电脑模拟生成真机数据?
论文通过提示词说明,直接生成机器人长序列动作,再通过场景生成,把机器人放进仿真房间,最后随机修改环境光照、机器人传感器噪点提高泛化性。
但这类研究最大的问题是sim2real的差距:仿真里跑得好好的,现实世界可能直接栽跟头。
论文的方案是让【合成数据要与现实对齐】,即在仿真中复原现实世界的动作延时、电机实际输出与指令的差异等。实际跑下来,模型在仿真环境和现实环境的同类单任务成功率都达到91%,基本解决简单任务sim2real的问题。
2、投资端怎么看
(1)继续强化分层架构逻辑:论文里S2用的Qwen3.6(350e参数);S1用的Qwen3.5(20e参数)和一个扩散模型;
(2)这篇论文重点在【解决合成数据的可用性】:今年开始ego这类数据成为模型预训练的主力军,但中训练和后训练仍多用真机数据,现在合成数据能帮助真机数据进行scaling;
(3)论文里的训练数据仅摄像头的视觉数据。作者承认缺乏触觉等其他模态数据,无法判断用力精度等问题;
(4)将虚拟场景与现实对齐时,作者实际测量了机器人实机的电机、相机等参数,说明干这个活和本体强相关,换一台机器人要重新标定。因此有一套固定的本体、并基于本体搭建数据集更为有效。
3、多模态数采(触觉等)和本体厂
(1)触觉&力传感:论文点名发展趋势在增加触觉,数采手套【福莱新材】、力传感【安培龙】。
(2)灵巧手+双臂:合成数据来自真机数据的补充,真机数采-机械臂【长盈精密】;灵巧手-Sharpa链【维宏股份】、灵巧手驱动模组【浙江荣泰】。
(3)本体:模型训练的进步利好本体放量且需本体合作搭建数据集,重视争夺S1议价权的【上纬新材】、专注S0的【宇树科技】。
作者声明: 本文转载自第三方,旨在提供资讯参考,并非证券推荐或投资建议。作者对内容的真实性、准确性不承担保证责任。本文不构成任何投资建议或证券推荐。截至发文日,作者与文中提及的标的不存在持仓关系。