【天风汽车】(1):Agent接管大脑控制,机器人GPT时刻还由GPT带来-1024
———————————
GPT6 Astra横空出世,作为机器人云端大脑,具备远超VLA/ WAM的复杂任务理解能力。在没有针对机器人控制进行训练的情况下,就达到Robodojo上的SOTA水平。
这里我们主要讲解Astra的优势所在,以及接下来做的优化。
首先讲Robodojo是什么?它是一个公开测试集,#模型只能通过输出具体的三维坐标控制机械臂包括夹爪,工作视野通过夹爪和头部的相机提供。需要在有限的步骤内完成任务。及其考验模型的任务拆解和操作精度。
对于Astra,优势是任务拆解,劣势是精确操作,也是大模型的特征:
1、Astra能够识别麻将并针对性打出,也可以在障碍物挡住相机时,根据提示词,用空闲的夹爪提供相机视野;
2、涉及精细操作,例如插笔筒、倒水入杯,Astra在空间测量和失败后尝试上很弱。而且操作极慢,因为模型参数大且需要输出每次操作的细节,而这本不应由Astra来做。
基于Astra,仅用时一个月,就有两套方案重回SOTA。分别是HexaShell和WorldScape-R²SI,总结是#让Astra干他擅长的东西。
HexaShell里Astra只做决策,例如设置运动终点,不需要考虑运动轨迹,轨迹由一套写死的方程实现。优化泛化性(33->39)且精度13->41,精度媲美最强的VLA/ WAM。
WS-R²SI尝试自我优化,每次执行生成对应操作的skill,存储怎么做/确认完成度/回退等,并不断迭代。具体怎么动交由另外的WAM做。精度13->24,泛化性33->43,长程任务21->51。
机器人控制分为system0、1、2:,2思考决策做什么怎么做;1把2的结论转化为全身动作;0纯粹的执行。总结下,#让专门的模型做专门的事。S2是机器人泛化一直的痛点,也是Astra类大模型最擅长的点。
今天Kimi 3.1pro发布,大幅强化了3D理解能力,国模也有了接近Astra的能力。
现在的Astra缺什么?复杂场景理解、复杂任务拆解能力。这些需要大量优质数据进行针对训练,对应数采的庞大需求。❗上亿小时数据的量级下,对应上下游千亿市场。首选数采的直接供应链。
作者声明: 本文转载自第三方,旨在提供资讯参考,并非证券推荐或投资建议。作者对内容的真实性、准确性不承担保证责任。本文不构成任何投资建议或证券推荐。截至发文日,作者与文中提及的标的不存在持仓关系。