先教机器人“看准”,再教它动手:小鹏联合北大、港大开源40亿参数视觉模型GroundingPI,少用三分之一示范数据成功率反超

小鹏汽车联合北京大学、香港大学等发布开源视觉感知模型GroundingPI,约40亿参数,在34项感知测试中综合得分73.68,高于GPT-6 Astra的71.54;在仿真机器人操作实验里,用一半示范数据训练的策略成功率超过对比模型用四分之三数据的结果。
让机器人“拿起右边那个杯子的把手”,它得先找到是哪个杯子,再定位把手在哪。小鹏汽车11月4日介绍的GroundingPI,专门练的就是这一步:把要找的东西用坐标点和框准确标出来,交给后面负责动手的模型。
GroundingPI由小鹏汽车与北京大学、香港大学等机构的研究人员共同开发,约40亿参数。项目页列出的参与团队还包括香港科技大学(广州)、清华大学和加州大学伯克利分校。
它的训练覆盖11类感知能力:物体检测、密集目标定位、按描述找物体、文字识别、文档版面理解、界面元素识别和机器人空间定位等,各类任务共用一套坐标表示。训练感知模型时不使用任何机器人动作标签。
研究团队拿它和44个基线模型在34个公开感知测试上比较,11类能力等权计算的综合得分是73.68,GPT-6 Astra为71.54。这项对比只针对这些感知测试,不代表通用智能或推理能力的高低。
更关键的结果在机器人身上。团队把不同的视觉底座接到同一种动作模型上,训练数据、优化预算和其余设置保持一致:在人形机器人灵巧手操作的仿真测试RoboCasa-GR1里,用GroundingPI、只拿一半示范数据训练的策略,成功率高于对比模型用四分之三数据训练的结果;在双臂操作仿真测试RoboTwin 2.0里,它在四种训练分布以外的环境设置下都表现更好。
自动驾驶方向也做了测试:在nuScenes数据集上作为视觉底座,开环轨迹预测平均误差为0.296米。
小鹏在发布中写明,下游结果都来自仿真和离线评测,这项研究不代表会接入小鹏的商业产品。论文、模型权重和代码已在项目网站和GitHub公开。