一块4090搞定实时视频生成！Adobe黑科技来了

主要观点总结

Adobe联合德克萨斯大学奥斯汀分校的研究者提出了一种名为Self Forcing的新算法，旨在解决自回归视频生成中的暴露偏差问题。该算法通过训练期间显式地展开自回归生成过程来弥合训练与测试分布之间的差距，并采用了滚动KV缓存机制来提升视频外推的效率。这种模型能以较高的帧率实现实时视频生成，同时生成质量具有竞争力。研究称该模型可以生成准高清视频，并在多种场景中展现出色的表现，如直播、游戏和世界模拟等。

关键观点总结

关键观点1: Self Forcing算法的核心思想及作用

在训练阶段采用与推理时相同的自回归展开方式生成视频，通过动态条件生成机制和训练阶段KV缓存创新来解决自回归视频生成中的暴露偏差问题。

关键观点2: Self Forcing算法的技术突破

包含两个关键技术突破：动态条件生成机制和训练阶段KV缓存的创新。动态条件生成机制结合已生成的清晰帧和当前时间步的噪声帧进行迭代去噪完成生成。训练阶段KV缓存的使用提高了视频生成效率。

关键观点3: Self Forcing算法的效率及优势

能够在单个H100 GPU上以17 FPS的帧率实现实时视频生成，延迟低于一秒。在画质上略优于其他模型，同时延迟时间缩短约150倍。该研究还引入了滚动KV缓存机制，实现了长视频的生成而无需重新计算KV缓存。