Haper SD Lora: 8步就可以用 Flux-dev生成图片!

主要观点总结

本文介绍了字节跳动开源的FLUX Dev的Haper SD Lora，通过FLUX生成图片，大幅减少生成时间。字节跳动在Huggingface上设立了演示空间，展示FLUX 8步Lora的绘图效果。文章详细描述了Hyper-SD框架的技术细节，包括轨迹分段一致性蒸馏、人工反馈学习和分数蒸馏等方法。实验结果表明，Hyper-SD在SDXL和SD1.5架构上实现了SOTA性能，并与其他基于LoRA的加速方法相比具有显著优势。此外，Hyper-SD的统一LoRA与ControlNet兼容，可应用于不同的基础模型，持续生成高质量图像。

关键观点总结

关键观点1: 开源的FLUX Dev的Haper SD Lora能够大幅减少FLUX生成图片的时间。

通过使用FLUX，只需要8步或16步就可以生成图片。建议在训练和指导中使用约为0.125的LoRA比例。

关键观点2: Hyper-SD框架融合了轨迹保存和重构的优点。

通过轨迹分段一致性蒸馏、人工反馈学习和分数蒸馏等方法，Hyper-SD在步骤压缩期间保持近乎无损的性能。

关键观点3: Hyper-SD实现了SOTA性能。

在SDXL和SD1.5架构上的实验结果表明，Hyper-SD与其他基于LoRA的加速方法相比具有显著优势，并获得了更多的用户偏好。

关键观点4: Hyper-SD的统一LoRA与ControlNet兼容。

Hyper-SD能够应用于不同的基础模型，持续生成高质量图像。此外，还提供了从1步到8步推理的LoRA以及专用的一步SDXL模型。