上交&卡尔动力联合提出FastDrive！结构化标签实现自动驾驶端到端大模型更快更强

主要观点总结

文章介绍了近期在端到端自动驾驶系统中融入类人推理能力的前沿研究。文章标题指出当前VLM训练范式的不足，并提出一个新的结构化数据集NuScenes-S和紧凑型VLM基线模型FastDrive来解决这些问题。文章介绍了数据集的结构以及模型的构建过程，并在NuScenes-S数据集上进行了实验验证。最后得出结论，表明FastDrive在感知、预测和决策任务中取得了具有竞争力的性能，且推理速度更快，参数更少。

关键观点总结

关键观点1: 研究背景

随着技术的发展，将类人的推理能力融入端到端自动驾驶系统已经成为研究热点。现有的VLM训练范式存在依赖大规模参数模型、计算成本高、内存消耗大等问题。

关键观点2: 主要贡献

本文提出了结构化数据集NuScenes-S和紧凑型VLM基线模型FastDrive。其中，NuScenes-S数据集关注驾驶决策的关键要素，消除冗余信息，提高推理效率；FastDrive模型模仿人类驾驶员的推理策略，实现了与端到端自动驾驶框架的有效结合。

关键观点3: 数据集介绍

NuScenes-S数据集包含场景描述、感知和预测任务以及决策任务的结构化信息，旨在提供更全面的驾驶场景视图。

关键观点4: 模型介绍

FastDrive模型采用视觉编码器模块和LLM代理，通过模仿人类驾驶员的推理策略，实现了与端到端自动驾驶框架的有效结合。该模型具有较少的参数，推理速度更快。

关键观点5: 实验结果

在NuScenes-S数据集上的实验结果表明，FastDrive模型在场景理解、感知、预测和决策任务上取得了具有竞争力的性能。

免责声明