机器人有了”手感”:蚂蚁灵波开源LingBot-Touch触觉大模型,拧瓶盖成功率从56%冲到90%

机器人会看、会想,一直缺一样东西——手感。

11月10日,蚂蚁灵波科技开源触觉基础模型LingBot-Touch,为机器人大脑补齐指尖上的触觉感知。技术报告、模型和代码同步开放,开发者可在Hugging Face、GitHub和魔搭社区下载。

为什么机器人需要”触觉”

视觉给不了手指按压的力度信息。

以拧瓶盖为例:深度信息能帮手指对准瓶盖,转动开始后,瓶盖可能松动,指腹也可能沿盖壁打滑。这两种情况在画面里几乎一样,却需要完全不同的动作调整。指尖的接触位置、受力大小和变化趋势,都被手指和物体挡住,视觉拿不到这些数据。

结果就是:机器人看得清物体在哪,手也伸到了正确位置,任务还是失败了。

模态输入的质量很大程度上决定动作输出的质量。没有好的输入,就没有好的输出——这是蚂蚁灵波团队给出的判断。

5000小时真实数据,三种传感原理统一编码

LingBot-Touch基于近5000小时真实触觉数据预训练。数据来自实验室、工厂流水线、康复中心和厨房操作台,覆盖磁触觉、视触觉、压阻式三类主流传感原理。

难点在信号不通用。同样一次接触,在不同传感原理和触点布局下,形成完全不同的原始信号。模型只学一种,换传感器或灵巧手后,已有的触觉经验难以复用,只能重新采集、重新训练。硬件快速迭代,这种绑定让重复开发成本不断堆积。

LingBot-Touch的解法分两步:

  • 按传感原理分别设置编码入口,先处理各自不同的原始信号
  • 把不同布局的触点映射到统一的指尖坐标空间,由共享模型学习接触位置、受力及其随时间的变化,输出统一的触觉Token

人戴触觉手套采集的数据和遥操作灵巧手采集的数据,放进同一个模型训练。不同动作模型都能调用训练好的模型提取接触特征。

跨硬件复用已经过验证。XHand1灵巧手用的磁触觉传感器型号不在预训练数据里,模型学到的磁触觉经验全部来自人戴手套的数据。换到这只灵巧手后,团队保持LingBot-Touch参数不动,只用XHand的操作示范训练动作模型,照样能用。

26项真机测试:成功率提升14至26个百分点

效果用真机说话。

蚂蚁灵波在Sharpa Wave和XHand1两款灵巧手上做了26项真机测试,覆盖翻书页、拧瓶盖、辨识麻将牌等精细操作。接入LingBot-Touch后,LingBot-VLA、π0.5、Diffusion Policy和T-Rex四种动作模型的平均任务成功率,比无触觉时提高约14至26个百分点。

一组对比数据值得细看。T-Rex控制Sharpa Wave拧瓶盖:不用触觉,成功率56.25%;输入传感器原始信号,62.5%;接入LingBot-Touch的触觉表征,90%。

原始信号只带来6个百分点的提升,统一触觉表征带来近34个百分点。差距说明,原始信号噪声大、难对齐,模型难以消化,统一表征才是触觉数据能被动作模型真正利用的前提。

530万参数的轻量设计,为端侧算力留了余量

LingBot-Touch提供两种容量版本。26项真机测试全部使用约530万参数的轻量版LingBot-Touch-Tiny完成。接入LingBot-VLA、π0.5和T-Rex后,整个模型栈的参数量只增加约0.13%至0.16%。

换算一下,一个万亿参数模型的0.15%就是15亿。触觉感知模块没有让机器人变重,感知能力却实打实上了一个台阶。

容量更大的LingBot-Touch-Small在感知测试里还有提升空间——预训练数据增至近5000小时时,模型仍能从新增数据中获益。触觉预训练这条路远没到头。

通用大脑的下一块拼图

蚂蚁灵波的具身原生路线已经铺开多层能力:LingBot-Depth管三维空间感知,LingBot-World管世界模型交互,LingBot-VLA管灵巧操作,现在LingBot-Touch补上触觉。

CEO朱兴对技术路线的态度很明确:以GPT-6 Astra、Claude Fable 5.2为代表的数字世界大模型,确实让机器人任务推理更强,但物理操作泛化性这块硬骨头绕不开,还得靠具身基础模型自身突破。通用大模型与具身基础模型是1+1大于2的协同关系:前者管理解推理,后者管物理感知和操作。

这套思路给行业提供了一种分工方式。传感器和灵巧手厂商按成本与任务需求选硬件,整机团队保留自己的动作策略,触觉能力作为通用感知层插在中间。每换一种硬件与算法组合就重写一遍触觉代码的时代,可以告一段落。

机器人产业都在卷”看得清、想得明白”,指尖上的这一层,刚刚开始有人认真做。触觉Token写进机器人的输入序列,精细操作的账本要重新算了。

机器人摸得懂世界,离真正上岗又近了一步。


评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

苏ICP备2025163703号-2   警徽苏公网安备32010502011527号