Loong：字节跳动生成分钟级连贯长视频的自回归语言模型

主要观点总结

文章介绍了名为Loong的自回归大型语言模型（LLM）在生成分钟级别长视频方面的应用。该模型由香港大学和字节跳动的研究人员共同开发，能够生成具有连贯性、一致外观、复杂动作动态以及自然过渡场景的长视频。文章详细阐述了Loong的技术特点，包括其训练策略、推理机制以及在不同文本到视频生成场景下的可视化结果。

关键观点总结

关键观点1: Loong模型的特点和用途

Loong是一种基于自回归大型语言模型（LLM）的视频生成器，能够生成长达一分钟的连贯视频。这些视频不仅具有一致的外观和复杂的动作动态，还包含自然的过渡场景。该模型解决了长视频生成中的多个技术难题，为创作者提供了强大的工具，同时也为观众带来更加丰富和吸引人的视觉体验。

关键观点2: Loong模型的训练策略和推理机制

Loong采用了渐进式短至长训练策略，并引入了损失重新加权方案来解决长视频训练中的损失不平衡问题。在推理阶段，它采用视频令牌重新编码和采样策略，以减少错误累积并提高生成视频的质量。

关键观点3: 论文解读

论文详细介绍了Loong模型的方法、实验、用户研究和可视化结果。通过消融研究验证了训练策略和推理策略的有效性，并提供了定量结果，展示了Loong在不同任务上的性能。