强化学习应用在自动驾驶中的一些思考

主要观点总结

本文介绍了在自动驾驶轨迹规划任务中应用强化学习微调的方法，主要围绕Improving Agent Behaviors with RL Fine-tuning for Autonomous Driving这一主题展开。文章探讨了主流的基于模仿学习的planning模块的方法和问题，并提出了使用强化学习进行闭环训练的思路。文章介绍了网络结构、训练方式、奖励函数等方面的内容，并指出强化学习的核心价值在于闭环学习。

关键观点总结

关键观点1: 文章主题

介绍在自动驾驶轨迹规划任务中应用强化学习微调的方法。

关键观点2: 存在的问题

主流的基于模仿学习的planning模块存在开环训练的问题，可能导致在实车测试阶段出现不合理状态。

关键观点3: 解决方案

使用强化学习进行闭环训练，模拟实车测试环境，提高训练效果。文章提出了一种结合pretrain和RL的训练方式，使用自回归方式进行轨迹输出。

关键观点4: 网络结构和训练方式

文章采用了MotionLM网络结构，使用自回归方式进行轨迹输出。训练方式分为pretrain和RL两个阶段，pretrain阶段采用causal mask来拟合gt，RL阶段使用了简单的运动学方程进行位置更新。

关键观点5: 奖励函数的设计

文章的奖励函数分为拟合gt和碰撞两部分。通过标准化reward，可以兼顾效率和安全性，同时防止网络训练崩溃。

关键观点6: 强化学习的核心价值

强化学习的核心价值在于闭环学习，使用困难的小数据集来做RL可以立竿见影地提升模型能力。