小鹏最新！NavigScene：全局导航实现超视距自动驾驶VLA（ACMMM'25）

主要观点总结

本文解决自动驾驶系统中局部传感器数据与全局导航背景之间的脱节问题，提出NavigScene辅助导航引导自然语言数据集。通过三种互补范式：导航引导推理、导航引导偏好优化和导航引导视觉-语言-动作模型，在问答、感知、预测和规划等驾驶相关任务中显著提高自动驾驶系统的性能。实验结果表明，NavigScene显著提高了VLMs在驾驶相关问答任务中的推理能力，增强了端到端驾驶系统的泛化能力。

关键观点总结

关键观点1: 提出了NavigScene数据集，解决局部传感器数据与全局导航背景之间的脱节问题。

NavigScene是一个辅助性的导航引导自然语言数据集，通过模拟类人驾驶环境，在自动驾驶系统中引入全局导航知识，提高系统的推理和泛化能力。

关键观点2: 提出了三种互补的范式来利用NavigScene数据集。

1. 导航引导推理：通过结合导航上下文增强视觉-语言模型的推理能力；2. 导航引导偏好优化：扩展直接偏好优化，通过建立对导航相关汇总信息的偏好来改进视觉-语言模型的响应；3. 导航引导视觉-语言-动作模型：将导航指导与视觉-语言模型和传统驾驶模型集成，提高感知、预测和规划任务的性能。

关键观点3: 实验结果证明了NavigScene和三种范式的有效性。

在问答任务、感知、预测和规划等实验中，使用NavigScene和三种范式的自动驾驶系统性能显著提高，证明了其在实际应用中的价值。