告别标注！中科院&理想World4Drive：端到端双SOTA，超越Hydra-MDP（ICCV'2...

主要观点总结

本文提出了World4Drive，一个结合驾驶意图与潜在世界模型的端到端自动驾驶规划框架。它通过整合视觉基础模型的先验知识，增强了对物理世界的理解，并在不同驾驶意图下生成、评估和选择多模态轨迹。在nuScenes和NavSim基准测试中取得了先进性能。

关键观点总结

关键观点1: World4Drive框架整合了驾驶意图与潜在世界模型，通过多模态轨迹规划实现自动驾驶。

World4Drive提出的物理世界潜在编码模块整合了视觉基础模型的空间和语义先验，并聚合时间信息，以增强对物理世界的理解。该框架在基准测试中实现了先进的性能，包括开环的nuScenes基准测试和闭环的NavSim基准测试。

关键观点2: World4Drive通过创新的世界模型选择器评估多模态轨迹

World4Drive采用世界模型选择器模块来评估和选择多模态轨迹。该选择器通过潜在世界模型评估不同意图下的轨迹，并选择最合理的轨迹。这一机制有助于在复杂驾驶场景中指导自动驾驶车辆的规划过程。

关键观点3: World4Drive在不同驾驶条件下表现出强大的性能和鲁棒性

World4Drive在不同驾驶条件下，包括不同的天气条件、照明设置和驾驶操作中，都表现出了卓越的性能和鲁棒性。特别是在挑战性的夜间和雨天天气条件下，World4Drive显著降低了碰撞率，显示出其对物理世界的深刻理解和高度的安全性。

免责声明