NeurIPS 2024｜天津大学提出：面向模态缺失情形的提示学习方法

主要观点总结

本文介绍了一种面向模态缺失情形的提示学习方法，旨在解决多模态大模型在输入模态可能缺失时的问题。通过深度关联提示学习提高模型的鲁棒性和可扩展性，并在多个数据集上验证了其有效性。

关键观点总结

关键观点1: 问题定义与背景

现实中输入常常可能是模态缺失的，为解决这一问题，文章提出了面向视觉理解的深度关联提示学习。

关键观点2: 方法框架与核心思想

针对之前方法的不足，文章提出了三种提示学习方法：Correlated prompting、Dynamic prompting和Modal-common prompting，并结合使用，以提高模型的鲁棒性。

关键观点3: 实验验证与结果

文章在MMIMDb、HatefulMemes以及Food101三个数据集上进行了广泛的实验，验证了模型的有效性和鲁棒性，并与其他SOTA模型进行了对比。