ParkingE2E: 基于摄像头从图像到规划的端到端泊车网络

主要观点总结

本文介绍了一种基于摄像头的端到端泊车模型，通过模仿人类驾驶轨迹，从RGB图像到路径规划进行端到端的规划。文章详细描述了方法的设计、实施细节、实验结果及限制。该方法利用目标查询获取BEV视图中的融合特征，并使用自回归的方式使用transformer解码器预测轨迹点，然后用于控制车辆停入指定停车位。

关键观点总结

关键观点1: 主要贡献

设计了一个执行泊车任务的端到端网络，将环视图像转换为鸟瞰图（BEV）表示，通过利用目标特征查询图像特征，将其与目标停车位特征进行融合，采用基于Transformer解码器的自回归方法生成轨迹点。提供了端到端网络部署的有效解决方案。

关键观点2: 方法概述

利用摄像头特征提取与BEV转换、目标停车位编码、目标与摄像头特征融合、轨迹序列化、轨迹解码器等技术，实现端到端的泊车规划。通过自回归Transformer解码器从RGB图像和目标停车位中预测未来的路径点。

关键观点3: 实验结果

在四个不同的真实车库中进行了实验，平均停车成功率达到87.8%。提供了定量结果和消融研究，展示了方法的有效性和优势。

关键观点4: 限制和挑战

提出了当前方法的一些限制，如对数据规模和场景多样性的依赖、对移动目标的适应性、负样本的缺乏、纠正机制的缺失等。并讨论了未来工作的方向，如通过扩展数据集、使用深度强化学习等方法改进模型。