清华第三代Sage注意力发布！提速5倍，精度不降，训推都能用

主要观点总结

清华大学朱军教授团队提出了SageAttention3注意力机制，利用FP4量化实现推理加速，比FlashAttention快5倍。该研究探索了8比特注意力用于训练任务的可行性，在微调中实现了无损性能。文章介绍了量化在模型推理过程的作用、注意力机制的核心问题、SageAttention3的创新点及其实验结果。

关键观点总结

关键观点1: SageAttention3利用FP4量化实现推理加速，提高了模型运算速度。

清华大学朱军教授团队提出的SageAttention3采用FP4量化，实现了1038万亿次每秒运算（TOPS），比FlashAttention快了5倍。

关键观点2: SageAttention3探索了8比特注意力用于训练任务的可行性。

该团队在研究过程中，尝试了使用8比特可训练注意力机制（SageBwd）微调基础模型，在性能上没有任何损失，证明了低比特注意力在训练任务中的潜力。

关键观点3: SageAttention3解决了量化过程中的精度损失问题。

团队通过两级量化方法、微缩比例矩阵乘法和硬件优化等技术，减少了量化误差，提高了注意力机制的精度。

关键观点4: SageAttention3在多个实验中都保持了高效的性能。

无论是在视频生成还是图像生成任务中，SageAttention3都完全保持了生成质量，并且在RTX5090上实现了大约3倍和2.4倍的端到端推理生成加速。