（ICCV2025）Vamba：Mamba+Transformer视频理解多模态模型，涨点起飞

主要观点总结

该论文介绍了名为VAMBA的混合多模态模型，旨在实现对小时级长视频的高效理解。该模型通过采用cross-attention更新文本token和Mamba-2模块线性处理视频token的方式，替代了Transformer中昂贵的self-attention机制。论文详细介绍了VAMBA模型的整体架构、输入阶段、处理阶段和输出阶段，并提供了消融实验结果和可视化结果以证明其有效性。

关键观点总结

关键观点1: 创新点介绍

论文提出了一种混合架构设计VAMBA，融合了Mamba-2与Transformer，旨在更高效处理长视频。该模型具有高效更新策略，使用cross-attention更新文本token，使用Mamba-2更新视频token，实现视频序列的线性时间复杂度处理。

关键观点2: 全token表达能力

不同于以往的token压缩策略，VAMBA保留了所有视频token，从根本上提高了对长视频的表达能力。

关键观点3: 两阶段训练策略

VAMBA采用两阶段训练策略，包括从已有Transformer模型迁移的初始化和专门训练新的cross-attention和Mamba层，以最大化性能恢复。

关键观点4: 效率提升显著

VAMBA在不影响性能的前提下，降低了GPU内存使用，提高了训练速度。此外，该模型在可视化结果和消融实验结果方面表现出色。

免责声明