自动驾驶大语言模型 LLM4AD：从概念、仿真到实车的全面盘点

主要观点总结

本文介绍了大型语言模型（LLMs）在自动驾驶中的应用，作者将其命名为LLM4AD。文章涵盖了LLM4AD的概念、框架、数据集、仿真研究、实车实验等方面的内容，并详细描述了其优势、挑战和实验结果。

关键观点总结

关键观点1: LLM4AD的概念和框架

作者提出了将大型语言模型（LLMs）应用于自动驾驶的框架，该框架能够增强人与车辆之间的交互，提高自动驾驶系统的安全性和个性化体验。

关键观点2: LLM4AD的数据集

作者提出了评估基于LLM的智能体在自动驾驶中指令跟随能力的标准基准测试——LaMPilot-Bench，以及相应的仿真器和数据集。

关键观点3: LLM4AD的仿真研究

作者在CARLA仿真器上进行了LLM4AD的仿真研究，并探讨了人类引导的学习流程，使自动驾驶智能体能够不断地从自然语言中的人类反馈中学习和改进。

关键观点4: LLM4AD的实车实验

作者将LLMs集成到实际的自动驾驶系统中，进行了实车实验，并介绍了Talk2Drive框架。该框架通过云基LLMs处理和理解人类的口头指令，并将其转化为车辆的可执行控制序列，从而提供个性化的驾驶体验。