ICCV 2025 | 终结灾难性遗忘！南大提出外部知识注入机制，刷新CLIP持续学习SOTA

主要观点总结

本文介绍了针对CLIP的持续学习方法，通过外部知识注入的方式提高模型的持续学习能力。首先介绍了背景和挑战，然后详细描述了ENGINE方法，包括实时知识注入和后优化知识注入。通过大量实验验证了ENGINE的有效性。

关键观点总结

关键观点1: 背景和挑战

介绍了CLIP的持续学习问题，最大的挑战是灾难性遗忘，即学习新类别会导致先前获得的知识丢失。

关键观点2: ENGINE方法介绍

为了解决这个问题，提出了ENGINE方法，包括实时知识注入和后优化知识注入。实时知识注入通过双路表征优化框架整合来自视觉和文本模态的外部知识。后优化知识注入利用局部描述来区分成对类别，以优化预测结果。

关键观点3: 实验结果

在基准数据集上的实验结果表明，ENGINE方法比其他最先进的方法高出3%∼10%。消融实验和参数鲁棒性实验验证了ENGINE中的每个组件的有效性。