【AAAI】DCKD：动态对比知识蒸馏实现高效图像恢复

主要观点总结

本文提出了动态对比知识蒸馏（DCKD）框架，用于高效图像恢复。该框架包括动态对比正则化（DCR）和分布映射模块（DMM）。文章详细介绍了其创新点、方法、实验和消融实验。通过动态对比知识蒸馏，学生模型能够学习教师模型的知识，并在图像恢复任务中取得优异性能。

关键观点总结

关键观点1: 动态对比知识蒸馏（DCKD）框架

提出了一种全新的动态对比知识蒸馏框架，能够根据学生模型的学习状态动态调整蒸馏解空间，克服了传统KD方法中固定解空间的限制。

关键观点2: 动态对比正则化（DCR）

通过动态负样本生成器生成动态下界约束，随着学生模型学习状态的变化不断调整解空间的下界，增强蒸馏效果。

关键观点3: 分布映射模块（DMM）

首次在低级视觉任务中引入像素级类别信息进行知识蒸馏，利用预训练的图像编码器和码本提取教师和学生模型输出的像素级类别分布，并通过交叉熵损失进行对齐。

关键观点4: 实验验证

在图像超分辨率、图像去模糊和图像去雨等任务上进行了实验验证，并与其他蒸馏方法进行了比较，取得了优异的结果。

关键观点5: 消融实验

验证了框架组件、降质模块、平衡权重、负样本数量和初始更新步长等因素对模型性能的影响。