BitsFusion 权重量化方法，使 UNet 模型体积减少一半，在所有评估中一致地超过了全精度模...

主要观点总结

本文介绍了一种名为BitsFusion的方法，该方法旨在将大规模的扩散模型量化到极低比特，以实现模型体积的显著减小，并在多种应用中提高性能。文章详细阐述了混合精度量化技术，针对不同层分配优化位宽以减少整体量化误差。作者还介绍了训练极低比特扩散模型的系列技术，包括初始化量化模型以提高性能、改进训练流程等。此外，文章提供了广泛的实验验证，包括实现细节、评估指标等。该方法有望为资源受限的设备上的扩散模型应用带来重大改进。

关键观点总结

关键观点1: BitsFusion方法旨在将大规模的扩散模型量化到极低比特。

该方法通过使用混合精度量化技术和一系列训练技术，实现了模型体积的显著减小和性能的提高。

关键观点2: 混合精度量化技术的应用。

该方法针对不同层分配优化位宽，以减少整体量化误差。此外，还使用了时间嵌入的预计算和缓存、添加平衡整数以及用于缩放因子初始化的交替优化等技术。

关键观点3: 训练极低比特扩散模型的系列技术。

作者使用两阶段训练流程来初始化量化UNet，并在训练过程中引入了CFG感知量化蒸馏、特征蒸馏和量化误差感知的时间步采样等技术。

关键观点4: 广泛的实验验证。

作者在MS-COCO、TIFA、GenEval和PartiPrompts等多个基准数据集上进行了评估，证明了方法的有效性。