YOPO (You Only Prune Once)：给LLaVA做剪枝，大幅缩减多模态大模型计算量...

主要观点总结

本文以LLaVA模型为研究对象，针对多模态大模型中的视觉计算冗余问题，提出了一系列高效的剪枝策略。通过邻域感知的视觉注意力、非活跃注意力头的剪枝、稀疏前馈网络投影和选择性丢弃视觉层等方法，将计算量压缩至原始模型的12%，并保持与原始模型同等的性能。同时，验证了这种计算冗余性在其他多模态大模型中的普遍存在。

关键观点总结

关键观点1: 背景介绍

随着大语言模型的成功，多模态大模型通过整合视觉、文本和其他模态的信息，显著提升了多模态任务的表现。然而，视觉token数量的快速增长导致计算复杂度呈二次方增长，严重制约了模型的可扩展性和部署效率。

关键观点2: 主要贡献

本文提出了针对多模态大模型的剪枝策略，从参数和计算模式层面进行优化，降低计算开销，同时保持模型性能。以LLaVA为实验对象，将计算量压缩至12%，并验证了这种计算冗余性在Qwen2-VL和InternVL2.0上的普遍存在。

关键观点3: 具体方法

本文提出了四种核心策略来优化视觉计算：邻域感知的视觉注意力、非活跃注意力头的剪枝、稀疏前馈网络投影和选择性丢弃视觉层。这些策略分别从注意力机制、前馈网络和层剪枝等多个角度进行剪枝优化。

关键观点4: 实验结果

实验结果显示，剪枝策略在降低计算开销的同时，保持了模型在多模态任务中的性能表现。在四个基准任务上，剪枝模型均表现出最佳性能。验证了剪枝策略的广泛适用性，在其他多模态大模型中也能取得良好效果。

关键观点5: 总结

本文通过分析多模态大模型中的视觉计算冗余问题，提出了一系列高效的剪枝策略。在保持性能的同时，显著降低了计算开销。并在其他多模态大模型中验证了剪枝策略的适用性和有效性。