重审扩散模型：从生成式预训练到一步生成

主要观点总结

本文主要探讨了扩散蒸馏技术在降低扩散模型采样成本中的应用及其存在的问题。文章指出，引入GAN目标可以缓解蒸馏过程中的问题，但背后的机制尚不清晰。文章通过识别蒸馏过程中的关键限制，即教师模型与学生模型在步长设置和参数数量上的不匹配问题，并提出一种不依赖蒸馏损失，仅使用GAN目标的方法，能够克服这一限制并将扩散模型转化为高效的一步生成器。同时，文章验证了该观点，并实现了优异性能的一步生成模型。此外，文章还提出了一种频域分析方法，用于解释扩散训练中获得的一步生成能力。

关键观点总结

关键观点1: 扩散蒸馏技术的挑战和应用

文章讨论了扩散蒸馏技术在降低扩散模型采样成本中的广泛应用，但指出该技术需要大量训练且学生模型的性能会下降。

关键观点2: GAN目标在扩散模型中的应用

文章探讨了引入GAN目标来缓解扩散蒸馏技术的问题，并讨论了其背后的机制。

关键观点3: 教师模型与学生模型的不匹配问题

文章识别出教师模型与学生模型在步长设置和参数数量上的不匹配问题，并提出了解决方案。

关键观点4: 将扩散模型转化为高效的一步生成器

文章提出了使用GAN目标而不是依赖蒸馏损失的方法，以克服教师模型与学生模型的不匹配问题，并将扩散模型转化为高效的一步生成器。

关键观点5: 实验验证和频域分析方法的应用

文章通过实验验证了所提出的观点，并展示了所实现的一步生成模型的优异性能。此外，还提出了一种频域分析方法，用于解释扩散训练中获得的一步生成能力。