ICML 2025 Spotlight｜南洋理工陶大程教授团队等提出基于RAG的高分辨率图像感知框架...

主要观点总结

该工作由南洋理工大学陶大程教授团队等与武汉大学罗勇教授、杜博教授团队合作完成。文章介绍了多模态大语言模型（MLLMs）在高分辨率图像感知方面的挑战，并提出了基于RAG技术的解决方案。文章通过实验探究了RAG在MLLM高分辨率图像感知的可行性，提出了Retrieval-Augmented Perception (RAP)方法。该方法通过检索和用户问题相关的图像块，代替原始的高分辨率图像输入到MLLMs中，有效提高LLM回复的准确度。文章还介绍了Spatial-Awareness Layout算法和RE-Search方法，并通过实验验证了RAP方法在高分辨率图像感知任务上的优势。文章链接：https://arxiv.org/abs/2503.01222。

关键观点总结

关键观点1: 研究背景及问题

文章介绍了多模态大语言模型（MLLMs）在处理高分辨率图像时面临的挑战，包括图像模糊、损失视觉信息和长上下文建模等问题。为了解决这个问题，研究人员提出了基于RAG技术的解决方案，探索其在MLLM高分辨率图像感知中的应用。

关键观点2: 实验及发现

文章通过实验探究了RAG在MLLM高分辨率图像感知的可行性，并提出了Retrieval-Augmented Perception (RAP)方法。该方法通过检索和用户问题相关的图像块，代替原始的高分辨率图像输入到MLLMs中。实验结果表明，RAP方法能够显著提高MLLM在高分辨率图像感知任务上的性能。

关键观点3: 方法介绍

文章介绍了Spatial-Awareness Layout算法和RE-Search方法。Spatial-Awareness Layout算法通过确定关键的图像块的位置，有效保持图像块之间的相对位置关系。RE-Search方法则通过启发式函数自适应选择合适的K值。

关键观点4: 实验结果

文章在高分辨率图像评测数据集上进行实验，结果表明RAP方法在单实例感知和多实例感知任务上都能带来明显的性能提升，特别是在HR-Bench 4K和8K数据集上取得显著效果。