如何高效桥接视觉和语言，字节&中大提出全新多模态大模型连接器ParGo

主要观点总结

文章介绍了机器之心AIxiv专栏以及多模态大语言模型（MLLMs）中的视觉-语言连接器的重要性。重点介绍了ParGo模型，该模型通过结合全局视野和局部细节，实现了高效视觉特征与LLM的连接。文章还描述了ParGo模型的核心模块和实验效果，以及其相较于其他模型的优点。

关键观点总结

关键观点1: 机器之心AIxiv专栏简介及作用

AIxiv专栏是机器之心发布学术、技术内容的栏目，过去数年接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。

关键观点2: 多模态大语言模型中的视觉-语言连接器

视觉-语言连接器在多模态大语言模型中起到桥梁作用，是将视觉特征映射到LLM语言空间的关键组件。

关键观点3: ParGo模型的特点及优势

ParGo模型通过结合全局视野和局部细节，采用两种类型的可学习token，利用注意力机制将视觉特征映射到大语言模型中。该模型在多项权威基准测试中表现出色，有效克服了传统方法对显著区域的过度聚焦，实现了视觉特征和LLM的高效连接。

关键观点4: ParGo模型的核心模块

ParGo模型包含两个核心模块：Partial-Global Perception Block (PGP)和Cascaded Partial Perception Block (CPP)。这两个模块共同作用，实现了高效的视觉-语言连接，既捕捉了图像的全局信息，又能精细地提取局部特征。

关键观点5: ParGo模型的实验效果

论文重点对比了当前不同类型的Projector（投射器），在一些通用的MLLM的benchmark中，ParGo取得了优异的效果。此外，ParGo在不同基座LLM下均表现良好，体现出了更好的泛化性能。