大型多模态模型中新出现的像素级语义理解，没有语义理解监督

主要观点总结

本文介绍了大型多模态模型（LMM）在语义理解方面面临的挑战，并揭示了即使在没有明确语义理解监督的情况下，LMM仍能够隐式地学习到语义理解能力。为了增强这种能力，本文提出了一种“注意和分割”方法，利用LMM的注意力图来执行像素级分割。此外，还提出了DiffLMM，这是一种利用基于扩散的视觉编码器的LMM，并在相同的弱监督下进行训练。与依赖强监督的接地方法相比，本文的方法具有更好的可扩展性和泛化性，并在接地特定的和通用视觉语言基准测试中都取得了有竞争力的性能。

关键观点总结

关键观点1: 大型多模态模型在语义理解方面的挑战

大型多模态模型（LMM）在语义理解方面面临挑战，要求模型将语言成分与视觉实体相关联。传统做法是使用额外的语义理解监督来微调LMM，但这种方法带来了限制，如可扩展性和泛化性问题。

关键观点2: 注意和分割方法

本文提出了一种“注意和分割”方法，利用LMM的注意力图来执行像素级分割，从而将隐式学习的语义理解能力转化为可操作的分割掩码。

关键观点3: DiffLMM模型

本文提出了DiffLMM，这是一种利用基于扩散的视觉编码器的LMM，通过增强LMM的CLIP视觉编码器来增强接地能力，同时保持一般的视觉语言任务性能。

关键观点4: 性能评估

在接地特定的和通用视觉语言基准测试中都取得了有竞争力的性能，甚至超越了使用大量监督训练的接地LMM，证明了本文方法的有效性和优越性。