Sora最强劲敌现身 | 根据“文本生成{无限长}视频”，支持4K分辨率，且无需重训练！

主要观点总结

本文介绍了文生视频领域的新技术FIFO-Diffusion，它是一种基于预训练扩散模型的推理技术，用于生成长视频。文章回顾了文生视频任务的发展历程，详细阐述了FIFO-Diffusion算法的背景、简介、流程、应用场景、性能评估以及效果展示。

关键观点总结

关键观点1: FIFO-Diffusion算法概述

FIFO-Diffusion是一种新的基于预训练扩散模型的推理技术，用于文生视频。它通过迭代执行对角去噪实现长视频的生成。

关键观点2: 算法发展历程

文章回顾了文生视频任务的发展历程，包括Fu-Yun Wang等人提出的Gen-L-Video算法、Haonan Qiu等人提出的FreeNoise算法以及Haoxin Chen等人提出的VideoCrafter2算法等。

关键观点3: FIFO-Diffusion算法背景

扩散模型在图像生成方面取得了重大成功，视频生成方面也取得了快速发展。但长视频生成仍然进步缓慢，一个核心原因是视频扩散模型通常将视频视为具有与时间相对应的附加轴的单个4D张量，阻碍了模型按比例生成视频。

关键观点4: FIFO-Diffusion算法流程

FIFO-Diffusion的对角去噪处理一系列连续帧，噪声水平不断增加。通过潜在划分和前瞻性去噪减少训练与推理之间的差距。

关键观点5: FIFO-Diffusion算法应用场景

FIFO-Diffusion被应用到多个算法中，如VideoCrafter2、Open-Sora-Plan、VideoCrafter1和zeroscope，能够将这些算法原本较短的视频扩展成更长且保持一致性的视频。

关键观点6: FIFO-Diffusion算法性能评估

FIFO-Diffusion与多个SOTA算法在相同文本提示下生成的视频效果进行了主观效果性能评估，并与FreeNoise在长视频生成任务中的性能进行了客观指标性能评估。结果显示，FIFO-Diffusion生成的视频更符合文本描述，一致性更好。此外，FIFO-Diffusion能够生成具有固定内存分配的任意长度的视频，节省时间。