一张显卡看遍天下电影！智源联合高校开源Video-XL打破长视频理解极限，95%准确率刷爆纪录

主要观点总结

智源研究院联合多所高校推出了小时级的超长视频理解大模型Video-XL，能够用一张80G显卡处理小时级视频。该模型借助语言模型的原生能力对长视觉序列进行压缩，实现了良好的泛化能力，并在多个主流长视频理解基准评测中排名第一。Video-XL有望在电影摘要、视频异常检测、广告植入检测等场景展现出广泛应用价值。

关键观点总结

关键观点1: Video-XL模型的特点

推出了小时级的超长视频理解大模型Video-XL；借助语言模型的原生能力对长视觉序列进行压缩；在多个主流长视频理解基准评测中排名第一；具有良好的泛化能力；可在电影摘要、视频异常检测、广告植入检测等场景广泛应用。

关键观点2: Video-XL模型的优势

仅需一块80G显卡即可处理小时级视频；在效率和性能之间实现了良好的平衡；保留了短视频理解的能力。

关键观点3: 模型结构

Video-XL整体模型结构和主流的MLLMs结构相似，由视觉编码器、视觉-语言映射器以及语言模型构成；针对多模态数据建立了一个统一的视觉编码机制。

关键观点4: 模型训练方式

Video-XL通过优化在压缩视觉信号下的生成质量进行训练；使用特殊的视觉摘要标记（VST）进行视觉上下文隐空间压缩；通过最小化自回归损失进行训练。