注意力计算减少99.5%，端侧文生图扩散模型成功范式！CLEAR：类卷积线性扩散Transforme...

主要观点总结

本文介绍了一种名为CLEAR的卷积式线性化方法，用于将预训练的扩散变换器的注意力机制线性化，从而提高高分辨率图像生成的效率。CLEAR通过限制特征交互到局部窗口，在保持与原始模型相当的性能的同时，减少了注意力计算，并加速了高分辨率图像的生成。文章还介绍了一些关于高效注意力机制的研究，包括局部性、表达一致性、高阶注意力图、特征完整性等关键因素。实验结果表明，CLEAR可以有效地将知识从预训练的模型转移到线性复杂度的学生模型，产生的结果与教师模型相当。

关键观点总结

关键观点1: CLEAR的卷积式线性化方法能够提高高分辨率图像生成的效率。

通过将预训练的扩散变换器的注意力机制线性化，CLEAR能够减少注意力计算，并加速生成过程。

关键观点2: CLEAR通过限制特征交互到局部窗口来保持性能。

CLEAR在保持与原始模型相当的性能的同时，通过限制特征交互到局部窗口来实现线性复杂度。

关键观点3: CLEAR涉及一些高效注意力机制的研究。

这些研究包括局部性、表达一致性、高阶注意力图和特征完整性等关键因素的探索。

关键观点4: 实验结果表明，CLEAR能够有效地将知识从预训练的模型转移到学生模型。

通过知识蒸馏损失项的应用，CLEAR的学生模型能够产生与教师模型相当的结果。

关键观点5: CLEAR支持多GPU并行推理，对于生成超高分辨率图像特别有价值。

由于每个 query 只与局部窗口内的 tokens 交互，CLEAR 为多 GPU 并行推理提供了更高的效率。