【新智元导读】马斯克的终极设想，正在成形。今天，特斯拉放出了「世界模拟器」震撼演示。一个神经网络，每天狂吞500年人类驾驶经验，并在无限的虚拟世界中自我进化。同款AI大脑，擎天柱也可共用。

　　今天，特斯拉官宣神经网络「世界模型器」，AI可以直接模拟、合成自动驾驶的「孪生世界」。

　　同时，一些长尾场景，诸如行人横穿马路、车辆加塞，AI都可以直接「脑补」生成。

　　从相同的初始视频片段（绿色小方块）开始，模拟会根据新的动作集发散到不同状态

　　如下所示，神经网络成功合成8个摄像头、24帧/秒的连续画面，一次直出长达6分钟的逼真驾驶体验，细节还原度惊人。

　　一直以来，马斯克宣称，特斯拉所打造「世界模型」是一套共用的AI大脑，并为其配上不同的「身体」——自动驾驶汽车、机器人。

　　没错，这个「世界模拟器」所有合成的环境，同样可以模拟多种真实场景，训练擎天柱。

　　这个端到端网络处理来自多个摄像头、车辆速度等运动学信号、音频、地图及导航信息，最终生成控制车辆行驶的指令。

　　要理解特斯拉在做什么，我们首先得知道，自动驾驶领域存在着两条截然不同的技术路线。

　　第一条路，也是绝大多数公司选择的路，可以称之为「模块化」的方法。这种方法将驾驶任务拆解成几个独立的步骤：

　　感知（Perception）：利用激光雷达、高清摄像头等传感器，识别出道路上的所有物体——这是车，那是人，这是一条车道线。

　　预测（Prediction）：利用感知数据，预测这些物体的下一步动向——那辆车可能会变道，那个行人可能会过马路。

　　规划（Planning）：根据预测结果，规划出自己车辆的最佳行驶路径——应该减速，还是应该绕行。

　　这种方式的好处显而易见：分工明确，每个模块都可以独立开发和调试，在项目初期更容易上手。

　　第二条路，也是特斯拉所选择的：是「端到端」（End-to-End）神经网络。

　　在特斯拉的系统中，不存在独立的感知、预测和规划模块，只有一个庞大而统一的神经网络。

　　这个网络的「输入端」，是车辆摄像头捕捉到的原始像素画面、车辆自身的速度、音频、地图导航信息等一切原始数据；

　　而它的「输出端」，则直接是两个指令：转动方向盘的角度，和踩下油门/刹车的力度。

　　在特斯拉看来，与依赖激光雷达等昂贵传感器的「模块化」（感知、预测、规划分立）方案相比，端到端方案拥有根本性优势：

　　复杂的现实路况充满了「迷你电车难题」，这些权衡难以用代码规则穷举，但可以从海量的人类驾驶数据中隐式学习。

　　举个栗子，在下面的场景中，AI需要决定是直接碾过前方一大片水洼，还是借道对向车道。

　　它的程序里可能有两条写死的规则：「规则A：绝对不能驶入对向车道」和「规则B：避免驶过障碍物（如此大的水坑）」。

　　但眼下能见度足够高，在可预见的未来未来不会有对向车辆驶来；其次，水坑比较大，最好是避开。

　　这只是经典「迷你电车难题」其中一个案例，现实中，自动驾驶汽车还会遇到各种罕见的问题。

　　而在端到端系统中，梯度能够从最终的控制指令一直反向传播至传感器输入，从而对整个网络进行整体性优化。

　　若在「感知」和「规划」这两个模块之间，建立一套明确的判断规则（本体论ontology）非常困难。

　　对于模块化系统，「感知」模块可能会给「规划」模块传递这样的信息：「识别到一群鸟类」。

　　这群鸟的「意图」——一种微妙、难以量化的信息——在模块之间的传递过程中很容易丢失。

　　「规划」模块无法知道，它应该为这群鸡减速让行，还是可以安全地绕过这群鹅。

　　整个网络作为一个整体，直接从像素中理解了「鸡要过马路」和「鹅想待着」这两种不同的「软意图」（soft intent），并直接输出减速或绕行的驾驶行为。

　　正是基于这些原因，特斯拉选择了「端到端」这条路。当然，也伴随着巨大的挑战。

　　它能更好地处理现实世界中无穷无尽的「长尾问题」，并且计算架构统一，延迟确定。

　　总体而言，这更符合「苦涩的教训」（The Bitter Lesson）所揭示的规律——即强大的通用方法和海量算力，最终将超越复杂的人工设计。

　　正是因为上面这些原因，以及其更多其他的考量，特斯拉才选择了「端到端」架构来做自动驾驶。

　　在真实世界中，一个安全的自动驾驶系统，需要处理高帧率、高分辨率、长时间序列的输入信息。

　　未来几英里的导航地图和路线 Hz车辆动态数据，如速度、惯性测量单元（IMU）、里程计等

　　如果将这些输入token拆分成最小的「信息单元」，比如每个图像块是5x5像素，token总数将高达20亿个。

　　神经网络的任务，就是在这20亿个输入信息单元中，找到正确的因果关系，并最终将其压缩成2个token——方向盘和加减速。

　　这是一个极其棘手的问题，AI很容易在如此海量的数据中，学到错误的、偶然的「相关性」，而非真正的「因果性」。

　　他们坐拥一个数据宝库，其车队每天能产生相当于人类500年驾驶时长的海量数据。

　　因此，特斯拉建立了一套复杂的「数据引擎」流水线，从海量视频中自动筛选出最有趣、最罕见、最高质量的学习样本。

　　当AI学习了足够多这样的「疑难杂症」数据后，它就能展现出惊人的泛化能力。

　　比如在一个雨天路滑的场景中，AI在前方车辆还未明显失控时，就提前开始减速。

　　它理解到：下雨、前车可能打滑、撞上护栏后可能反弹回车道……这种对「二阶效应」的预判，只有在见过足够多复杂情况后才能学会。

　　特斯拉神经网络在输出最终驾驶指令的同时，也能输出可供人类理解的「中间token」（Intermediate Tokens）。

　　车辆在行驶过程中，轨迹通常是线性的，导致视角变化不足，用传统方法重建3D模型质量不高。

　　尤其是，在新视角下更容易失线D高斯泼溅还需要以来，其他pipeline良好的初始化，整体优化时间可能长达数分钟。

　　无需初始化，全程运行时间仅约220毫秒，能够对动态物体进行建模，还能和端到端大模型联合训练。

　　此外，AI还能用自然语言解释它的决策。这套系统已经在FSD v14.x版本中部分运行。

　　这个模拟器能以极高的保真度，实时生成车辆所有摄像头应该看到的画面。它就像一个由AI创造的、无限逼真的驾驶视频游戏。

　　闭环评估：可以将新的驾驶AI模型放入这个模拟世界中，让它自由驾驶，评估其长期表现。

　　情景再现与修改：可以截取一段真实发生的危险场景，让AI在这个模拟世界里用不同的方式重新应对一次，看看结果是否会更好。

　　创造对抗性场景：可以人为地在模拟世界中创造出极端、罕见的危险情况，比如让一辆车突然做出不合常理的举动），专门测试AI的应对极限。

　　汽车，只是他们收集数据的触手，和这套AI系统的第一个应用载体。他们真正打造的，是一套可以解决通用物理世界交互问题的底层AI引擎。

　　原标题：《马斯克「世界模拟器」首曝，1天蒸馏人类500年驾驶经验！擎天柱同脑进化》