VisionTrap：基于文本描述的视觉增强轨迹预测

主要观点总结

本文介绍了来自韩国高丽大学、德州奥斯丁分校、普渡大学和现代汽车公司的一项研究，该研究提出了一种结合视觉输入和文本描述进行轨迹预测的方法。该方法使用环视摄像头的视觉输入，结合视觉语言模型和大语言模型，以理解智体的行为背景和智体与环境的交互。实验表明，视觉输入和文本描述有助于提高轨迹预测性能。

关键观点总结

关键观点1: 研究背景

现有的轨迹预测方法主要使用智体过去的轨迹和高清地图作为输入，但这种方法存在局限性，无法适应不断变化的环境条件和提供视觉数据理解智体的行为背景。

关键观点2: 研究方法

该研究提出了一种结合视觉输入和文本描述的方法，使用环视摄像头的视觉输入，结合视觉语言模型和大语言模型进行轨迹预测。该方法实现了53毫秒的延迟，实现了实时处理。

关键观点3: 视觉语义编码器的作用

视觉语义编码器简化场景的视觉推理，专注于显著的可见特征，以提高轨迹预测的性能。例如，关注车辆本身和其他语义细节，如路口前的等待车辆和转向灯。

关键观点4: 文本驱动指导模块的重要性

文本驱动指导模块用于监督模型理解详细的视觉语义。它采用预训练的BERT作为文本编码器提取单词级嵌入，然后用注意模块将这些嵌入聚合为复合句子级嵌入。对比学习损失用于将文本描述嵌入到智体的状态嵌入中。

关键观点5: 研究成果

该研究发布了nuScenes-Text数据集，该数据集为每个场景添加了丰富的文本注释。实验表明，视觉输入和文本描述都有助于提高轨迹预测性能。此外，该研究还展示了如何使用自车为中心的方法和转换模块来加快推理速度并处理场景元素之间变换和旋转的不变性。