ECCV'24 | SLS：整层剪掉！基于降维特征聚类的PETL模型剪枝新方法

主要观点总结

本文介绍了论文“Straightforward Layer-wise Pruning for More Efficient Visual Adaptation”，该论文提出了一种针对参数高效迁移学习（PETL）模型的直接层级剪枝方法SLS（Straightforward Layer-wiSe Pruning method）。文章关键点是介绍SLS方法如何有效解决模型冗余问题，并在VTAB-1k基准测试中实现了对当前主流结构剪枝方法DepGraph的超越。

关键观点总结

关键观点1: 论文提出了针对PETL模型的直接层级剪枝方法SLS。

SLS方法通过从特征角度评估每一层的参数，并利用聚类度量通过t-SNE获得的低维空间中的聚类现象来评估当前层参数，解决了模型冗余问题。

关键观点2: SLS方法解决了存储参数量的问题。

通过逐层剪枝并专注于存储剪枝索引，SLS有效减少了由于不同剪枝结构而产生的存储开销。

关键观点3: SLS方法在与下游数据集与预训练数据集存在显著差距时表现优异。

当面对这种数据分布差异时，PETL转移的模型深层将包含大量冗余参数，SLS能够动态识别并剪除这些冗余参数。

关键观点4: SLS方法在满足关键标准的情况下进行有效剪枝。

这些标准包括保持与PETL转移方法相同的存储参数数量，预测冗余参数而无需额外的训练。

关键观点5: 论文提出了特征评估模块（FEM）来评估层的特征。

FEM结合降维和聚类算法，根据各层的中间特征做出剪枝决定，为评估结构剪枝参数的重要性提供了一种新的视角。