一夜颠覆Sora神话，H200单卡5秒出片！全华人团队开源AI引爆视频圈

主要观点总结

本文报道了UCSD等机构发布的FastWan系视频生成模型，通过采用稀疏蒸馏技术实现了AI视频生成的极速模式。该模型在H200上实现了5秒生成视频，并采用FastVideo架构实现了高效生成。文章还详细介绍了稀疏蒸馏技术和视频稀疏注意力（VSA）的核心原理及应用。

关键观点总结

关键观点1: FastWan系视频生成模型实现极速生成

采用稀疏蒸馏技术，实现了AI视频的快速生成。单块H200，5秒内即可生成一个5秒视频。

关键观点2: 稀疏蒸馏技术介绍

稀疏蒸馏是一种将稀疏注意力训练与步骤蒸馏相结合的模型后训练技术。它的核心思想是让一个「少步数+稀疏化」的学生模型学会匹配「完整步数+密集计算」教师模型的输出分布。

关键观点3: 视频稀疏注意力（VSA）技术的引入

VSA是动态稀疏注意力核心算法，能够自主识别序列中的关键token。不同于依赖启发式规则的方案，VSA可在训练过程中直接替代FlashAttention，通过数据驱动的方式学习最优稀疏模式，同时最大限度保持生成质量。

关键观点4: FastWan模型实现稀疏蒸馏的过程与挑战

高质量数据对任何训练方案都至关重要，尤其是扩散模型。研究人员使用高质量的Wan模型自主生成合成数据集，并采用DMD进行稀疏蒸馏。在实现过程中，内存效率成为关键挑战，他们通过FSDP2实现三模型的参数跨GPU分片，显著降低内存开销。

关键观点5: VSA的实际效果与评估

在Wan-1.3B的DiT推理时间上，VSA模式将推理时间从全注意力模式的31秒降至18秒。VSA精细块稀疏内核在长序列场景下更加接近理论极限，实现了近7倍加速。

免责声明