【他山之石】YOPO (You Only Prune Once)：给LLaVA做剪枝，大幅缩减多模态...

主要观点总结

本文提出通过参数和计算模式层面的冗余优化，对多模态大模型进行剪枝，以降低计算开销并保持模型性能。文章介绍了研究动机、方法、实验结果和总结。研究通过邻域感知的视觉注意力、非活跃注意力头的剪枝、稀疏前馈网络投影和选择性丢弃视觉层等策略，实现了对LLaVA模型的计算量压缩，并在Qwen2-VL和InternVL2.0上验证了剪枝策略的普适性。

关键观点总结

关键观点1: 研究背景

随着大语言模型的成功，多模态大模型通过整合视觉、文本和其他模态的信息，显著提升了多模态任务的表现。然而，视觉 token 数量的快速增长导致计算复杂度呈二次方增长，严重制约了模型的可扩展性和部署效率。

关键观点2: 研究方法

本文提出了四种核心策略来优化视觉计算：邻域感知的视觉注意力、非活跃注意力头的剪枝、稀疏前馈网络投影和选择性丢弃视觉层。这些策略旨在降低计算开销并保持模型性能。

关键观点3: 实验结果

对LLaVA模型应用提出的剪枝策略后，计算开销显著减少，同时模型在多模态任务中的性能得到保持。此外，该剪枝策略在其他多模态大模型如Qwen2-VL和InternVL-2.0上也表现出有效性和广泛适用性。

关键观点4: 总结

本文旨在通过学术交流，提出并分析多模态大模型中的视觉计算冗余问题，并通过一系列策略进行剪枝优化。在保持性能的同时，显著降低计算开销，为多模态大模型的高效计算提供了新的视角和解决方案。