李飞飞团队新作：DiT不训练直接改架构，模型深度减半，质量还提高了

主要观点总结

本文介绍了一种名为“嫁接”的技术，该技术允许研究者在不从头开始训练模型的情况下，通过编辑预训练 Diffusion Transformers（简称 DiTs）来探索新的模型架构设计。这种方法通过替换模型中的某些算子来创建新的混合架构，从而在保持模型质量的同时减少计算量。

关键观点总结

关键观点1: 嫁接技术的引入和应用背景

由于从头训练模型的成本过高，尤其在新架构研究方面，人们难以获得关于架构设计的深刻洞见。因此，研究新架构仍是一项挑战。本文提出的嫁接技术为解决这一问题提供了新的思路。

关键观点2: 嫁接技术的核心过程和特点

嫁接过程包括激活蒸馏和轻量级调优两个阶段。激活蒸馏阶段通过回归目标蒸馏原始算子的激活特征，实现算子间的功能传递。轻量级调优阶段则通过使用有限的数据进行调优，减轻误差传播。该研究还展示了嫁接扩散Transformer的两阶段嫁接方法。

关键观点3: 嫁接技术的实验和结果

本文通过实验验证了嫁接技术的有效性。实验结果显示，通过嫁接技术替换模型中的算子，可以在保持模型质量的同时实现良好的生成质量-效率权衡。此外，该技术在文本到图像的扩散Transformer中成功应用，实现了显著的加速。