CVPR 2025 | 悉尼大学提出LaVin-DiT：扩散Transformer+时空VAE，20...

主要观点总结

本文介绍了大型视觉扩散Transformer（LaVin-DiT），这是一种旨在处理多种计算机视觉任务的统一基础模型。LaVin-DiT通过引入一系列创新点，如时空变分自编码器（ST-VAE）、联合扩散Transformer（J-DiT）和上下文学习等，优化了视觉任务的生成性能。

关键观点总结

关键观点1: 引入时空变分自编码器（ST-VAE）

ST-VAE能够将图像和视频数据编码到连续潜在空间，保留关键时空特征，降低计算需求，提高效率。

关键观点2: 提出联合扩散Transformer（J-DiT）

J-DiT改进了扩散Transformer，通过并行去噪步骤合成视觉输出，减少序列依赖性，提高处理效率，维持视觉任务所需的空间连贯性。

关键观点3: 采用上下文学习

上下文学习支持统一的多任务训练，通过输入-目标对作为任务上下文，引导扩散Transformer在潜在空间中使输出与特定任务对齐。

关键观点4: 使用3D旋转位置编码

3D旋转位置编码将视觉数据视为连续序列，提供统一且准确的时空位置编码，克服了1D位置嵌入在捕捉时空位置上的局限。