ECCV 2024｜多模态大模型的过度依赖

主要观点总结

本文介绍了如何通过Bootstrapped Preference Optimization（BPO）方法来加强多模态大型语言模型。文章提出了将多模态对齐问题转化为偏好学习任务的新视角，并介绍了一种自动化构建大规模偏好数据集的方法，能够构造出带有预训练偏见信息的负面样本。实验证明，该方法能有效提升多模态大模型对图像的认知能力，并在多个基准测试中取得更好的性能。文章还介绍了可扩展的偏好数据集构建方法，包括利用现有公开数据集作为正面响应，通过弱化图像提示和错误注入收集负面响应数据。采用直接偏好优化（DPO）对多模态模型进行优化，并在多个测试榜单上取得领先。

关键观点总结

关键观点1: 研究背景与动机

文章针对多模态大模型训练过程中的问题，提出了一种基于偏好学习的改进方法。

关键观点2: 主要贡献

文章提出了将多模态对齐问题转化为偏好学习任务的新视角；介绍了一种自动化构建大规模偏好数据集的方法；证明了该方法能有效提升多模态大模型对图像的认知能力。

关键观点3: 偏好数据集构建方法

文章采用了两种方法构建偏好数据集：利用现有公开数据集作为正面响应，通过弱化图像提示和错误注入收集负面响应数据。

关键观点4: 实验评估

文章采用经过BPO微调后的模型在多个基准测试上进行了评估，证明了其有效性。此外，还将BPO与监督微调训练进行了对比，显示了BPO微调的优势。