【慕尼黑工业大学】通过大型视觉语言模型理解交通场景

主要观点总结

本文介绍了利用大型视觉语言模型（LVLMs）理解交通场景的技术。文章评估了不同LVLMs在自动驾驶数据集上的分类性能，并突出了它们作为自动驾驶数据驱动高效工具的潜力。文章主要贡献包括在内部和BDD100K数据集上对不同标签的交通场景进行分类的定量分析，对代表性类别的性能进行定性分析，并基于所研究的模型实现了一种自动分类流程。

关键观点总结

关键观点1: 大型视觉语言模型在自动驾驶领域的应用

文章介绍了大型视觉语言模型（LVLMs）在自动驾驶领域的运用，特别是在理解和分类城市交通场景方面的能力。这些模型通过自动图像分析和基于上下文查询的分类，提供了一种具有吸引力的解决方案，通常不需要对新类别进行重新训练。

关键观点2: 模型的评估与贡献

文章对若干种LVLMs在内部数据集和BDD100K上的性能进行了评估。主要贡献包括：对内部和BDD100K数据集上不同标签的交通场景分类的定量分析，对代表性类别的性能进行定性分析，以及基于所研究的模型实现了一种自动分类流程。

关键观点3: 模型的性能与挑战

虽然LVLMs在自动驾驶数据集上的分类性能表现出色，但也存在一些挑战。例如，所有模型都难以对街道配置进行分类，这是唯一一个预测质量不足以集成到项目中的类别。此外，土地使用的类别预测不准确，但提供了对车辆周围环境的良好理解。

关键观点4: 未来的研究方向

文章指出，通过额外使用其它模态的数据（例如激光雷达提供的3D点云、GPS或IMU数据）可以提高分类的质量。同时，现有数据集规模不足以对罕见场景进行广泛评估，因此需要更多的标签数据。此外，改进现有的基于CNN的方法，以及利用LVLMs实现对复杂交通场景更高效、更全面的分析也是未来的研究方向。