PerlDiff：使用扩散模型进行可控的自动驾驶场景数据生成（NuScenes和KITTI显著提升）

主要观点总结

文章介绍了使用透视布局扩散模型进行可控的街景合成工作的新框架PerlDiff。PerlDiff能够根据用户定义的3D注释生成街景图像，利用透视布局掩码作为几何先验，精确引导物体层面的图像生成过程。通过基于Perl的交叉注意机制，PerlDiff实现了对街景图像生成过程的精确控制，并在NuScenes和KITTI数据集上达到了SOTA。文章还介绍了PerlDiff的设计、训练数据、控制条件编码、实验结果及未来工作。

关键观点总结

关键观点1: 新框架PerlDiff用于根据用户定义的3D注释生成街景图像。

PerlDiff利用透视布局掩码作为几何先验，精确引导图像生成。

关键观点2: 基于Perl的交叉注意机制实现了对街景图像生成过程的精确控制。

这种机制通过整合道路和BEV注释的特定物体信息，增强了生成图像的准确性。

关键观点3: PerlDiff在NuScenes和KITTI数据集上达到了SOTA，显著提高了生成街景图像用于目标检测和分割上的实验结果。

实验结果表明，PerlDiff在控制物体角度、位置、大小方面的有效性。