模型知识蒸馏新SOTA！告别传统散度蒸馏｜腾讯优图&中科大出品

主要观点总结

本文介绍了来自中科大和腾讯优图实验室的新研究，提出了一种基于Sinkhorn距离的知识蒸馏方法，能够更准确地将大模型的知识“蒸馏”到小模型中。该方法解决了现有知识蒸馏方法的局限性，并在多个自然语言处理测试集上取得了优于当前最先进方法的结果。

关键观点总结

关键观点1: 研究背景

知识蒸馏是为了通过对齐教师模型的软目标来传递知识。但现有方法如KL散度、RKL散度和JS散度都有局限性。

关键观点2: 新方法介绍

研究提出了一种基于Sinkhorn距离的新知识蒸馏方法（SinKD），解决了传统散度度量的缺陷。它采用Wasserstein距离作为成本函数，更为合理。

关键观点3: 批处理重构方法

为了捕捉高维空间中样本分布的几何复杂性，研究提出了基于批量的重构方法。

关键观点4: 实验结果

SinKD在各类任务、数据集和模型架构上的表现均超越了基线方法。研究还进行了消融实验、生成式大语言模型实验等以验证方法的有效性。

关键观点5: 其他应用

SinKD还适用于独热标签微调的语言模型微调，并且已经拓展到计算机视觉领域的深度网络。