上交OccScene：3D OCC生成新框架（TPAMI）

主要观点总结

本文介绍了OccScene的研究背景、核心亮点、技术细节及其实验结果。OccScene是一种将3D场景生成与语义Occupancy感知深度融合的方法，通过创新的联合扩散框架，实现生成与感知任务的互惠互利。该方法包括联合感知-生成扩散框架、基于Mamba的双重对齐模块等核心技术，并在3D场景生成质量和下游感知任务提升方面取得了显著成果。

关键观点总结

关键观点1: 研究背景

自动驾驶系统中高质量、大规模的标注数据对于训练感知模型至关重要。但获取这些数据费时费力，成本高昂。因此，学界和业界开始关注生成模型，希望通过AI创造合成数据来‘喂饱’感知模型。然而，传统的做法通常将‘生成’和‘感知’作为两个独立的环节，存在学用脱节的问题。

关键观点2: 核心亮点与贡献

OccScene首次实现了3D场景生成与语义Occupancy感知的深度融合，通过创新的联合扩散框架，让生成与感知任务‘互惠互利’，实现‘1+1>2’的效果。此外，OccScene还具备范式创新、技术突破、实用价值等亮点，并能显著提升现有SOTA感知模型的性能。

关键观点3: 核心技术解析

OccScene包括联合感知-生成扩散框架、基于Mamba的双重对齐模块等核心技术。其中，联合感知-生成扩散框架将语义Occupancy预测与文本驱动生成统一到单个扩散过程中，实现了生成与感知任务的深度融合。基于Mamba的双重对齐模块则保证了生成内容的跨视角一致性和几何精确性。

关键观点4: 实验结果与分析

实验结果表明，OccScene在3D场景生成质量和下游感知任务提升方面取得了显著成果。与传统方法相比，OccScene生成的场景在几何上更合理、细节更清晰，并且在跨视角视频中保持了高度的逻辑一致性。此外，将OccScene作为数据增强策略，可以显著提升现有SOTA感知模型的性能。