NeurIPS 2024 | 少样本学习中类别原型和图片样本之间的信息差异对于泛化性能的影响

主要观点总结

本文主要探讨了跨域少样本分类任务中的特征变换问题，发现了数据样本与类别原型之间存在信息差异的现象，并提出了简单有效的方法Contrastive Prototype-image Adaptation（CoPA）来解决这一问题。该方法通过对类别原型和数据样本施加不同的特征变换，并采用对称交叉熵损失，有效地保留了信息差异并提高了算法的泛化性能。

关键观点总结

关键观点1: 跨域少样本分类任务中的主要问题和挑战

跨域少样本分类任务旨在通过快速学习少量带标签的样本，在未见过的数据样本上实现分类。目前主流框架是预训练一个骨干网络作为特征提取器，并在末端快速微调一个特征变换模块。然而，该框架隐性地假设数据样本与类别原型应使用同一个特征变换模块，这可能导致信息差异被缩小，影响特征聚类和算法泛化性能。

关键观点2: 信息差异的发现和分析

作者通过理论和实验分析发现，类别原型和数据样本之间存在信息差异。这一差异在共享同一个特征变换后会被缩小，导致特征聚类和泛化性能不佳。

关键观点3: CoPA方法的设计原理

针对上述问题，作者提出了Contrastive Prototype-image Adaptation（CoPA）方法。CoPA通过对类别原型和数据样本施加不同的特征变换，并采用对称交叉熵损失，有效地保留了信息差异。该方法能够改善特征聚类和泛化性能。

关键观点4: CoPA方法的实验结果

作者在Meta-Dataset数据集上评估了CoPA方法的效果，并与其他方法进行了比较。实验结果表明，CoPA在不同的任务类型和模型设定下均取得了最优效果。此外，CoPA还能有效地扩大类别原型和数据样本之间的信息差异，获得更好的聚类结果。