ICML 2025 | 视频生成模型无损加速两倍，秘诀竟然是「抓住attention的时空稀疏性」

主要观点总结

文章介绍了AI视频生成技术的快速进展以及存在的速度瓶颈，提出了一种新的解决方案：Sparse VideoGen。它通过挖掘注意力机制中的空间与时间稀疏性，成功将推理时间减半，几乎不降低画质。目前，该方法已经支持多种开源模型，并且所有代码均已开源。

关键观点总结

关键观点1: AI视频生成技术进入快速爆发阶段，但存在速度瓶颈。

当前最好的视频生成模型在单张H100 GPU上生成一个5秒的视频需要30分钟以上，主要瓶颈在于3D Full Attention模块。

关键观点2: Sparse VideoGen的出现解决了视频生成的速度瓶颈问题。

Sparse VideoGen通过挖掘注意力机制中的空间与时间稀疏性，配合自适应稀疏选择与算子优化，成功将推理时间减半。

关键观点3: Sparse VideoGen对视频生成模型的画质几乎没有影响。

Sparse VideoGen生成的视频与Dense Attention方法相比，几乎没有肉眼可见的差别，保持极高的像素保真度（PSNR = 29）。

关键观点4: Sparse VideoGen支持多种SOTA开源模型，并且所有代码均已开源。

目前，Sparse VideoGen已经支持了Wan 2.1、HunyuanVideo、CogVideoX等多种开源模型，并且T2V（文生视频）、I2V（图生视频）都可以加速。

关键观点5: Sparse VideoGen的核心设计抓住了Attention中的稀疏性。

Sparse VideoGen通过识别Attention Map中两种独特的稀疏模式：空间稀疏性和时间稀疏性，来构建稀疏注意力策略。

关键观点6: Sparse VideoGen实现了无损像素保真度的关键。

它通过动态地组合空间和时间一致性问题的解决方案，并采用在线稀疏模式优化方法，实现了无损像素保真度。

关键观点7: Sparse VideoGen从算子层优化稀疏计算。

它通过硬件友好的布局转换和定制化优化QK-Norm和RoPE等模块，提高了内存访问效率和推理效率。