脑洞大开！用大模型开卡车，还融了2亿美元
专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！
物理生成式AI驾驶平台Waabi在官网宣布获得2亿美元，本次由英伟达（NVIDIA）、沃尔沃、保时捷、Uber、Khosla等全球知名企业投资。
Waabi仅成立3年便获得4级自主驾驶权限，主要是借助了ChatGPT等生成式AI风口，将其融合在自动驾驶中突破了很多重大技术难点，将在2025年推出无人干预的全自动化运输卡车。
Waabi开发了一个端到端的大模型Copilot4D，可以模拟人类的智力、推理和驾驶习惯。相比传统的自动化驾驶方案所需要的训练数据和算力资源更少，在安全、环境侦测方面却有巨大提升，这也是全球为数不多将生成式AI与自动化驾驶相结合的案例之一。
其实，Waabi起初是一家自动化驾驶平台，但看到全球生成式AI风口越刮越大并且已经进入商业化落地阶段。所以，在今年3月18日官宣与英伟达进行深度技术合作，将NVIDIA DRIVE Thor集成在自动化驾驶技术中，同时转型成为物理生成式AI驾驶平台。
NVIDIA DRIVE Thor是一个包含从底层硬件GPU、开发层SDK再到应用层辅助驾驶、自动化驾驶的全套开发平台。
其每秒可提供高达254万亿次运算，有12个外部摄像头、3个内部摄像头、9个雷达、12个超声波和1个前置激光雷达等，是全球应用最多的自动化驾驶基础开发套件之一。
NVIDIA DRIVE Thor体验地址：https://www.nvidia.com/en-us/self-driving-cars/in-vehicle-computing/
Copilot4D模型简单介绍
除了借助英伟达强大的开发生态之外，Waabi与多伦多大学的研究人员联合开发了，通过离散扩散学习自动驾驶的无监督世界模型——Copilot4D。
Copilot4D是一个专为自动驾驶领域开发的大模型，其核心技术是将观察标记化，通过向量量化变分自编码器（VQVAE）将连续的传感器数据，如激光雷达点云，转换为离散的标记。
这种转换不仅简化了数据表示，VQVAE也能将输入数据映射到有限的离散潜在空间中，有效地将高维、连续的数据压缩为低维、离散的表示，从而降低了模型的复杂度并使得数据可以被高效地解码和去噪。
在这些离散标记的基础上，Copilot4D采用了一种新颖的离散扩散模型来预测未来的观察结果，通过在数据中逐步引入噪声，然后学习逆向过程以去除噪声并重构数据。
与传统的扩散模型相比，离散扩散模型专门针对离散数据设计，能够更加高效地处理经过标记化的数据。
为了捕捉环境的动态变化，Copilot4D引入了时空变换器，基于Transformer架构在空间和时间维度上交替应用注意力机制。这种设计使得模型不仅能够理解车辆在道路上的运动模式和行人的行走路径，还能够在不同时间步骤的标记之间建立联系，生成连贯的未来环境预测。
在生成过程中，Copilot4D使用了分类器自由扩散引导（Classifier-Free Diffusion Guidance, 简称CFG）技术，通过调整模型的输出分布来增强生成数据的质量和多样性。
CFG可利用过去的代理历史，例如，过去的观察和行动，来引导未来的预测，从而显著提高了环境的预测准确性和可靠性。
Copilot4D在多个自动驾驶数据集上NuScenes、KITTI Odometry和Argoverse2进行了评测。在1秒内的预测中，Copilot4D相比之前最佳方法将Chamfer距离（一种衡量点云间相似度的指标）降低了65%—75%。
而在3秒预测时也降低了超过50%，整体性能非常强悍，这也是被Waabi应用在自动化卡车驾驶中的主要原因之一。
物理生成式AI
在获得巨额融资后，Waabi联合创始人兼CEO Raquel Urtasun发表了一篇长文，介绍了物理世界中的生成式AI。
她表示，近两年生成式AI取得了令人惊叹的进步，ChatGPT通过了法律专业律师考试、专业医师考试，Midjourney生成的图片可以和专业设计师相媲美，Suno生成的音乐来顶级音乐人都赞不绝口。
但这些成就都是在虚拟世界完成的，我们该如何将其引入到现实的物理世界中呢？但引入的过程并不容易，首先，物理世界对安全的要求极高，几乎不能出现半点错误，例如，在自动化驾驶卡车中如果大模型对环境的判断、预测不准确，很容易出现严重的车祸事故。
其次，移动的卡车受限于环境，无法像超级算力矩阵那样提供源源不断的算力，只能在有限的空间内来完成部署和使用，这就对模型的性能有着极高的要求。
为了解决这些难题，Waabi开发了适用于物理世界的大模型，这是一种前所未有的突破。它不仅能感知这个真实的物理世界，创建可解释的安全规则，还能以人类的方式进行推理，找出最佳的驾驶解决方案。
长距离的大型卡车驾驶是一个枯燥，容易让人疲惫的职业，同时随着全球劳动力的下降，有安全经验的卡车司机正在逐年下降。
Waabi希望通过将生成式AI引入到自动化驾驶中，打造一批安全、可靠的“数字驾驶员”帮助企业解决运输链难题，同时降低劳动成本。
本文素材来源Waabi官网、Copilot4D论文，如有侵权请联系删除
END