FutureSightDrive：世界模型&VLM 统一训练

主要观点总结

本文提出了FutureSightDrive（FSDrive），一种基于时空链式思考（Spatio-Temporal Chain-of-Thought, CoT）的自动驾驶框架。FSDrive旨在解决现有视觉语言模型（VLMs）在自动驾驶中进行轨迹规划和场景理解时存在的时空关系模糊和细粒度信息丢失的问题。通过统一未来场景生成和感知结果的图像格式，消除跨模态转换引起的语义差距，建立端到端的视觉推理管道，使模型能够直接进行视觉因果推理。实验结果表明，FSDrive在轨迹规划、未来帧生成和场景理解任务上表现出色，验证了所提出方法和统一预训练范式的有效性。

关键观点总结

关键观点1: 背景介绍及研究目的

本文介绍了视觉语言模型在自动驾驶中的应用及其存在的问题，并提出了FSDrive框架以解决这些问题。

关键观点2: 时空链式思考（Spatio-Temporal CoT）方法

FSDrive通过引入时空链式思考方法，使模型能够基于视觉方式思考轨迹规划，统一未来场景生成和感知结果的图像格式，消除跨模态转换的语义差距。

关键观点3: 统一预训练范式

FSDrive采用统一预训练范式，同时保留MLLMs的语义理解能力并激活其视觉生成能力，通过渐进式图像生成避免直接生成完整详细未来场景可能导致的物理规律违背问题。

关键观点4: 实验设计与结果

本文进行了多项实验以验证FSDrive的有效性，包括轨迹规划、未来帧生成和场景理解任务，以及消融研究，实验结果表明FSDrive在这些任务上均表现出色。

关键观点5: 未来工作方向

本文提出了进一步探索的方向，包括多视角未来帧生成、实时性和效率优化、多模态融合的深度探索等。