新智元报道  

编辑：编辑部
【新智元导读】马斯克的预言，没几天就成真了：第二代擎天柱，这几天已经进厂打工了。在经过训练的端到端神经网络加持下，它直接能准确分装电池了！
几天前，马斯克在财报会上曾表示，争取年底让擎天柱进工厂测试。

竟是因为，具备人格的擎天柱表示：自己想做一个有用的「人」。
继叠T恤、办公室走路之后，它现在还学会了分拣电池！
快看，这不慌不忙的样子，擎天柱将电池精准地放在收纳盒子里。
不仅如此，擎天柱最近还在忙着努力学习执行各种任务。
而这些动作的实现，正是基于其端到端的神经网络的训练，能够在特斯拉FSD计算机实时运行。
仅通过2D摄像头，以及手部触觉，和力传感器，就可以做到对物体的分类。
下面是擎天柱执行任务时的第一视角。
有时，擎天柱不小心将电池没有将电池插入槽中，还会自主纠正，再正确将其放回准确的位置。
擎天柱神经网络的训练，其数据是通过人类远程操作完成收集，并针对各种任务进行扩展。
值得一提的是，多个擎天柱现在已经进入了特斯拉工厂「实习」，在分拣电池时，都几乎不用人类干预。
还记得今年2月，擎天柱在办公室闲逛的视频，有模有样地在办公室巡逻。
近两次的配文，可以说是「人味」拉满了
而它走路的姿态几乎与人类别无二致，引网友惊呼。最近，擎天柱能走的更远了。
网友纷纷表示，第二代擎天柱才面世5个月，成长速度飞快到令人难以置信。
甚至，有人已经开始期待第三代擎天柱了。
马斯克还预告，「即将在今年晚些时候推出的新款Optimus，会搭载具备22个自由度（目前是11个）的灵巧手」。
话说，分拣电池这种精细的工作，擎天柱具体是怎么胜任的？
端到端神经网络，让擎天柱自我纠正
视频一出，擎天柱的工程主管Milan Kovac便分享了特斯拉机器人的训练方法。
正如之前所说，特斯拉团队已经训练、部署了一个神经网络，让擎天柱去执行实用任务。
而从传送带上拿起电池，精确地放入托盘中只是其中的一种，未来还将扩展到多种任务上。
这个端到端的神经网络，只处理自机器人2D摄像头的视频，以及机器人本体感知的传感器数据，并直接生成控制关节的序列。
整个系统完全运行在机器人内置的FSD计算机上，并由由机载电池供电。
这样的设计，使得单一神经网络能够随着训练过程中，越来越丰富的数据加入，进而执行更多种类的任务。
Milan Kovac提到，虽然目前系统还不够完美且反应稍慢，但成功率逐渐提高，错误率也在减少。
最重要的是，团队还在训练擎天柱如何从从失误中学习经验，并已经观察到自行纠正行为。
除此以外，特斯拉团队还在进一步努力，提高擎天柱的移动速度，使其能够适应更多复杂的地形环境，让它走路姿态更像人。
此外，他们还在专注于提高整个机器人集群的操作一致性，训练神经网络来应对动态校准和机器人之间微小的差异。
最后，Milan还顺便附上了特斯拉的招聘官网，并预告更多的更新即将到来。
与此同时，英伟达高级研究科学家Jim Fan也对擎天柱的最大优势之一——人类数据收集和处理系统，进行了一波分析。
1. 擎天柱的手是世界上最顶尖的五指灵活机器人手之一。
它配备了触觉感应，具有11个自由度（DOF），相较于其他只有6-7个自由度的选手，它的坚固性能够承受频繁的物体交互，而无需不断维护。
2. 远程操作软件：视频中可见，操作员戴着VR眼镜和手套。
设置能够实时传输第一人称视角视频和精确控制信号的软件，并保持极低延迟，这是一项极具挑战的技术。人类对自己的动作和机器人的响应之间即使是微小的延迟也极为敏感。擎天柱配备了一套流畅的全身控制系统，能够实时精确地复现人类的动作。
3. 庞大的机器人集群：并行数据收集需要多台机器人，以及训练有素且能够每天多班次工作的人类承包商（理想情况下为24/7），还需有随时待命的维护团队确保机器人持续运作。这种操作的复杂性是学术研究所未曾设想的。
4. 任务与环境：确定要远程操作什么同样至关重要。
当前，大多数此类尝试都是以演示为驱动：收集适合社交媒体视频展示的任务数据。然而，要实现通用机器人的目标，我们必须仔细考虑任务和环境的多样性。从视频的43-51秒，我们可以看到机器人在工厂和家庭环境中进行的操作，如移动电池、洗衣服、整理日常物品等。
网友：让它给我弹琴，给我炒饭
擎天柱的外形进化图来看，它是越来越像人了。
这也为它进厂打工、成为家政机器人，铺垫了一步。
在擎天柱的官博下，网友们也纷纷展开畅想。
人口断崖式下跌？不用急，几百万个大规模机器人来解决这个问题。这个数量，是特斯拉造车数的1000倍。
这位表示：今天，擎天柱能分类电池。
明天，它就能计算出星际飞船的加速度，把速度提高到每小时72,150英里，到达火星。它还能担任飞船船长，和人类建一个火星殖民地。
当然，它也能为你弹琴唱歌。
为你下厨。
为你洗衣、打扫、整理。
成为你的私人管家，毕竟谁能拒绝成为下一位钢铁侠呢。
当然，在不久的未来，Optimus或许还能为我们量身定制不同的版本。
它可以是我们的私人模特、私人发型设计师、私人妆造师，各种私人定制都可基于技术更新换代，通过数据库遴选完成，和我们无比适配。
昨天偶遇擎天柱的网友，已经开心地晒出合影了。
毕竟，它看起来已经是个灵巧的电脑了。
而特斯拉，已经绝不仅仅是一家汽车公司。
参考资料：
https://twitter.com/_milankovac_/status/1787028644399132777
https://twitter.com/Tesla_Optimus/status/1787027808436330505
https://x.com/elonmusk/status/1787157110804910168
https://twitter.com/DrJimFan/status/1787154880110694614
继续阅读
阅读原文