AI Day直播！免位姿前馈4D自动驾驶世界DGGT

主要观点总结

本文介绍了自动驾驶的训练与评估中快速、可扩展的4D重建与重新仿真能力的需求问题。文章指出，现有方法依赖于逐场景优化、已知相机标定或短时间窗口，导致速度缓慢、实用性受限。为此，本文提出了Driving Gaussian Grounded Transformer（DGGT），一个统一的无需位姿的动态场景重建框架。该框架在无需位姿的情况下直接从稀疏图像进行重建，支持长序列中任意数量的视角，并具备优良的性能和可扩展性。

关键观点总结

关键观点1: 问题背景与现有方法的问题

自动驾驶的训练与评估需要快速、可扩展的4D重建与重新仿真能力，但现有方法受限于逐场景优化、已知相机标定或短时间窗口，导致速度缓慢、实用性受限。

关键观点2: DGGT框架的提出与特点

本文提出了Driving Gaussian Grounded Transformer（DGGT）框架，该框架从前馈视角重新审视问题，能够统一处理动态驾驶场景的重建。主要特点是无需位姿，直接从稀疏、无位姿的图像进行重建，支持长序列中任意数量的视角。

关键观点3: DGGT框架的技术细节与优势

DGGT框架通过联合预测每帧的3D高斯图与相机参数，利用轻量级动态头解耦动态元素，并利用寿命头调制保持时序一致性。此外，基于扩散的渲染细化提高了合成质量。该框架实现了单次前向传播、无需位姿的算法，在速度与性能上均达到领先水平。

关键观点4: 实验验证与结果

文章通过大型驾驶数据集（Waymo、nuScenes、Argoverse2）的实验验证了DGGT框架的有效性。实验结果表明，无论是在各数据集上单独训练还是在跨数据集的零样本迁移任务中，DGGT框架均优于已有工作，且具有良好的扩展性。