新一代世界模型！GeoDrive：显式注入空间结构信息，问鼎SOTA（北大&理想）

主要观点总结

GeoDrive是一款面向自动驾驶的新一代世界模型系统，解决了现有方法普遍依赖二维建模、缺乏三维空间感知的问题。它通过引入三维点云渲染过程，显著提升了模型的空间一致性与可控性。文章详细阐述了GeoDrive的三项关键技术创新，包括几何驱动的时序条件生成、动态编辑模块和结构增强的视频扩散生成架构。

关键观点总结

关键观点1: 几何驱动的时序条件生成

系统以单帧RGB图像为输入，借助MonST3R网络精准估计点云和相机位姿，结合用户提供的轨迹信息，逐帧进行投影生成，构建具有三维一致性的条件序列，确保场景结构连贯真实。

关键观点2: 动态编辑模块

该模块突破静态渲染的局限，通过融合2D边界框注释，支持对可移动物体的灵活位置调整，解决传统渲染中“场景冻结”的假设，在训练阶段显著提升多车交互场景的动态合理性和模拟真实度。

关键观点3: 结构增强的视频扩散生成架构

将渲染生成的条件序列与噪声特征拼接输入冻结的Video Diffusion Transformer（DiT），在保持光学生成质量的同时，引入结构上下文以增强三维几何保真度，实现内容与物理一致性的统一。

免责声明