MoCa：首个大规模双向多模态表征模型

主要观点总结

本文介绍了生成式视觉-语言模型（VLM）在多模态表示中的需求与应用。针对VLM在检索和理解任务中的单向因果注意力机制的问题，研究者提出了MoCa框架，该框架是一个“持续预训练 + 异构对比微调”的两阶段框架，可将单向注意力VLM训练成SOTA级双向多模态编码器。文章详细介绍了MoCa框架的动机、方法、实验结果及未来展望。

关键观点总结

关键观点1: 研究背景与问题

生成式视觉-语言模型（VLM）的需求增长，但直接使用VLM做检索或理解任务时存在单向因果注意力机制的问题，限制了表示质量。

关键观点2: MoCa框架介绍

MoCa是一个两阶段框架，包括“持续预训练”和“异构对比微调”。旨在将单向注意力VLM训练成SOTA级双向多模态编码器，通过联合重建任务和异构对比学习微调来实现。

关键观点3: 实验与结果

MoCa在MMEB和ViDoRe-v2两大主流多模态嵌入基准上取得显著性能提升。消融实验证明了持续预训练和异构对比学习的重要性。实验结果还表明MoCa具有模型参数和数据规模扩展性的高效性。

关键观点4: 未来展望

MoCa展示了将生成式VLM转化为高质量双向多模态编码器的巨大潜力，并提供了未来拓展的方向，如扩展至更多模态与任务场景、提升多语言适应能力、自动合成高质量训练数据以及与生成能力结合的统一模型等。

免责声明