上海交大&英伟达最新！OmniRe: 高效重建高保真度的动态驾驶场景

主要观点总结

本文提出了一种名为OmniRe的动态驾驶场景重建框架，能够高效重建高保真度的动态驾驶场景，包括车辆、行人和骑自行车者等动态参与者。OmniRe基于高斯场景图解决全景城市场景建模问题，实现了快速、高质量的重建和渲染，为自动驾驶和机器人仿真提供了有力支持。

关键观点总结

关键观点1: 提出OmniRe框架

OmniRe是一种动态驾驶场景重建的整体框架，旨在从设备日志中进行重建，允许在驾驶日志中对各种动态对象进行精确、全长重建。

关键观点2: 全景原则的应用

OmniRe体现了“全景”原则，在参与者覆盖和表示灵活性方面有着突出表现，能够处理多样化的参与者，包括车辆、行人等。

关键观点3: 使用高斯场景图

OmniRe基于高斯场景图构建动态神经场景图，实现高保真的场景重建、传感器模拟以及实时可控的场景编辑。

关键观点4: 解决挑战

OmniRe解决了从驾驶日志中建模人类和其他动态参与者所面临的挑战，如遮挡、复杂环境以及现有人体姿态预测模型的局限性。

关键观点5: 实验结果和贡献

OmniRe在场景重建和新视点合成方面达到了最先进的性能，显著提高了重建的PSNR指标。此外，OmniRe还提供了多种应用，如车辆操作、交通模拟、人类行为模拟等。