ICML 2025｜MODA：多模态感知、认知和情感理解的模块化双通道注意力机制

主要观点总结

文章介绍了多模态大语言模型（MLLMs）的近期发展及其在多模态数据融合方面的强大能力。文章指出了现有MLLMs存在的'注意力缺陷障碍'问题，并提出了一种新颖的注意力机制——模块化双通道注意力（MODA）来解决这一问题。MODA能够同时实现模态内精炼与模态间交互，采用'先对齐再校正'的策略，有效解耦了模态对齐与跨层token混合。文章还介绍了MODA方法的具体实施过程，包括模块化双通道注意力机制、模块化注意力掩码等。最后，文章提供了实验结果分析，证明了MODA在感知、认知与情感任务中的有效性。

关键观点总结

关键观点1: 多模态大语言模型（MLLMs）的近期发展及挑战

MLLMs展现出多模态数据融合的能力，但在需要细粒度理解的认知和情感任务上存在挑战，如注意力分布不平衡、跨模态注意力不一致、层级衰减问题等。

关键观点2: 注意力缺陷障碍（DDA）问题的提出

现有MLLMs中存在注意力缺陷障碍问题，导致在认知和情感任务上的性能下降。该问题由跨模态注意力不一致和逐层衰减的注意力激活引起。

关键观点3: 模块化双通道注意力（MODA）方法的介绍

为解决注意力缺陷障碍问题，文中提出了一种新颖的注意力机制——模块化双通道注意力（MODA）。MODA能够同时实现模态内精炼与模态间交互，采用'先对齐再校正'的策略，有效解耦了模态对齐与跨层token混合。

关键观点4: MODA方法的实施过程

MODA方法包括模块化双通道注意力机制和模块化注意力掩码等。其中，模块化双通道注意力机制通过映射token到基于基向量的双通道模态空间，促进视觉模态与语言模态之间的交互。

关键观点5: 实验结果分析

实验结果表明，MODA在感知、认知与情感任务中表现出有效性。在多个基准数据集上的实验验证了MODA的有效性。