CVPR2025 | DeQA-Score: 让大语言模型学会图像质量分数的分布

主要观点总结

本文介绍了一项CVPR25的工作，名为DeQA-Score，这是一个基于多模态大语言模型的图像质量评估系统。DeQA-Score实现了无需安装环境即可方便使用，仅需要安装transformers库，并通过两行代码即可调用。文章探讨了项目的背景、最大的难点、模型训练方法和实验结果。

关键观点总结

关键观点1: 项目背景

项目基于DepictQA项目，使用语言描述图像质量。反馈指出，虽然语言描述具有灵活性，但在图像质量评价（IQA）中不能直接作为度量标准。因此，需要开发一个既方便易用又能产生准确分数的多模态IQA方法。

关键观点2: 主要挑战

使用大语言模型回归分数的主要难点在于将连续的分数转化为离散的token。为此，文章提出了将连续的分数离散化为不同级别的token的方法，并通过实验验证了该方法的优越性。

关键观点3: 模型训练方法

除了对level token使用KL divergence loss进行训练外，还引入了fidelity loss来监督模型，以促进模型关注图像之间的优劣关系。

关键观点4: 实验结果

实验结果表明，DeQA-Score预测的level token分布与真实的高斯分布非常吻合，可以计算平均分数和分数的方差，达到目前图像质量评估的领先水平。

免责声明