Apple提出《对比局部化语言-图像预训练》

主要观点总结

本文介绍了一种名为CLOC的预训练方法，用于提升CLIP模型在图像区域级别的定位能力。CLOC通过引入区域-文本对比损失和模块，以及一个新的概念可提示嵌入，使得模型可以生成易于转换为区域表示的图像嵌入。为了支持大规模预训练，设计了一个视觉丰富且空间局部化的字幕框架。CLOC模型在多个任务上优于CLIP，尤其在区域级任务和需要细粒度图像理解的多模态大型语言模型（MLLM）上表现出色。

关键观点总结

关键观点1: CLOC预训练框架

CLOC通过引入区域-文本对比损失和模块，以及可提示嵌入概念，提升CLIP在图像区域级别的定位能力。

关键观点2: 可提示嵌入概念

CLOC模型学习生成图像嵌入，这些嵌入可以根据空间提示轻松转换为区域表示，为图像编码器和语言解码器之间的交互提供新可能性。

关键观点3: 视觉丰富且空间局部化的字幕框架

设计了一个伪标签管道，用于生成高质量的区域-文本标注，以支持大规模CLOC预训练。

关键观点4: 实验与评估

CLOC在多个任务上优于CLIP，特别是在区域级任务和需要细粒度图像理解的多模态大型语言模型（MLLM）上表现出色。