翻书、开锁、拧灯泡,靠指尖“手感”边做边改:松下联合英伟达等做出触觉机器人AI,12项任务成功率从35%提到65%

松下控股联合加州大学伯克利分校、英伟达、斯坦福大学等开发机器人操作AI模型T-Rex,把10根手指的触觉信号接进视觉语言动作模型,在12项接触类真实任务上平均成功率65%,比对照方法高30个百分点。
抽一张薄卡片、把钥匙插进锁里转一下,人靠的是指尖感觉到的力和打滑。松下控股联合多家机构做的机器人操作AI模型T-Rex,让机器人的双手也能这样边摸边改动作。
T-Rex全称“触觉反应式灵巧操作”,由松下控股和松下美国研发公司,与加州大学伯克利分校、英伟达、斯坦福大学、罗马大学和ItalAI的研究人员共同开发。松下11月5日宣布这项成果,论文将在11月9日至12日于美国奥斯汀举行的机器人学习大会(CoRL)上发表。
常见的视觉语言动作模型主要看摄像头画面,就算接入触觉,也多当成静态信息处理。T-Rex把动作分成两层:看图像、听指令的模块每秒约5次生成动作的大致轨迹;处理指尖触觉的模块每秒约20次,根据接触状态随时微调。机器人不用每次都重新识别一遍图像,就能对打滑、按得太深这类情况快速反应。
训练数据分三步。先用22889小时的人类第一视角视频学通用的视觉和动作知识;再用团队采集的带触觉双手操作数据学接触动作,这批数据覆盖200多种日用品、22种基本动作,共7700多条、100小时,每条都同步记录了头部和手腕摄像头画面、机器人状态、10个指尖触觉传感器的力和形变,以及自然语言指令;最后每项任务再用约100条示范微调。
测试用了12项需要接触的真实任务,包括翻书页、转移鸡蛋、挤牙膏、开锁、抽卡片、拧灯泡。T-Rex平均成功率65%,对照方法是35%,高出30个百分点。把触觉信息去掉之后,平均成功率降到42%。
松下给这项技术定的方向,是让机器人在工厂里帮忙插拔零件、拧螺丝,在物流现场处理软的、易碎的货物,这类活都要靠手上的力道随时调整。
今年10月,松下已宣布要自研人形机器人,计划2029年量产。