Waymo最新多模态端到端EMMA：规划感知静态元素一网打尽~

主要观点总结

本文介绍了EMMA，一种用于自动驾驶的端到端多模态模型。EMMA建立在多模态大型语言模型的基础上，可直接将原始摄像头传感器数据映射到各种驾驶输出中，包括规划轨迹、感知目标和道路图元素。它通过任务特定的提示在统一的语言空间中联合处理各种驾驶任务。文章详细阐述了EMMA在端到端运动规划、3D目标检测、道路图估计和场景理解等方面的应用，并讨论了其优势、局限性和挑战。实验结果表明，EMMA在多个公共和内部基准及任务上取得了最先进或具有竞争力的结果。此外，文章还介绍了EMMA作为多面手模型在联合生成多个任务输出方面的潜力。

关键观点总结

关键观点1: EMMA是一种用于自动驾驶的端到端多模态模型，可直接处理摄像头传感器数据。

该模型将原始摄像头传感器数据映射到规划轨迹、感知目标和道路图元素等驾驶输出中。

关键观点2: EMMA利用大型语言模型的世界知识，通过思维链推理进行决策。

它采用统一的语言空间来联合处理各种驾驶任务，通过任务特定的提示生成输出。

关键观点3: EMMA在多个公共和内部基准及任务上取得了最先进或具有竞争力的结果。

这些任务包括端到端的规划轨迹预测、相机主要3D目标检测、道路图估计和场景理解等。

关键观点4: EMMA作为多面手模型具有联合生成多个任务输出的潜力。

它可以匹配甚至超越单独训练的模型的性能，显示出在多种自动驾驶应用中的潜力。

关键观点5: EMMA面临一些挑战和局限性，包括长期依赖关系捕获、扩展到激光雷达和雷达输入、预测驾驶信号的验证以及闭环评估的传感器仿真等。

为了解决这些挑战，需要进一步的研究和优化。