论文浅尝 | 多模态知识图谱增强多模态推理能力（ACL2024）

主要观点总结

本文主要介绍了浙江大学博士徐雅静的研究成果，针对大型语言模型在进行多模态推理时存在的问题，提出了一种利用多模态知识图谱的MR-MKG方法。该方法通过跨模态学习丰富和语义化的知识，显著提升了LLMs的多模态推理能力。文章详细描述了MR-MKG方法的五个部分，包括语言编码器、视觉编码器、KG编码器、知识适配器和跨模态对齐等，并给出了实验细节和结果。

关键观点总结

关键观点1: 研究背景与动机

大型语言模型在进行多模态推理时面临幻觉和知识不足的问题，现有方法尝试使用文本知识图谱缓解，但单一模态知识限制了全面跨模态理解。论文提出利用多模态知识图谱的MR-MKG方法，提升LLMs的多模态推理能力。

关键观点2: MR-MKG方法的主要组成部分

MR-MKG方法包含五个部分：语言编码器、视觉编码器、KG编码器、知识适配器和跨模态对齐。语言编码器和视觉编码器分别使用LLMs和预训练的视觉编码器处理文本和图像；KG编码器从多模态知识图谱中检索子图并进行编码；知识适配器使LLM理解多模态知识节点嵌入；跨模态对齐实现图像和文本的精确匹配。

关键观点3: 实验细节与结果

论文在ScienceQA和MARS数据集上进行实验，证明了MR-MKG方法在多模态问答和多模态类比推理任务上的有效性，取得了先进的结果。实验还展示了不同基线方法的结果，并强调了MR-MKG方法的优势。

关键观点4: 总结与展望

论文通过多模态知识图增强大型语言模型的多模态推理能力，提出的方法称为MR-MKG。该方法旨在利用多模态知识图中丰富的知识赋予LLMs高级的多模态推理能力。文章还介绍了OpenKG项目，旨在推动中文知识图谱的开放、互联及众包。