如何提升多模态大模型视觉推理能力？浙大杰青团队的新型自指导方案给出答案

主要观点总结

文章介绍了设计一种多模态自指导策略，利用大语言模型及其代码能力合成摘要图像和推理指令，为大型多模态模型（LMM）提供高质量的训练数据。策略能够自主合成多种图表、仪表板、视觉谜题等，并生成相关的推理问题答案。合成了包含11,193条指令的基准测试，涵盖了八种场景，并用于评估LMM的视觉推理能力。结果显示，当前LMM在理解和推理抽象图像方面与人类差距显著，尤其是完成日常任务如读时钟、规划路线等。文章还探讨了提升LMM抽象图像理解能力的可能途径，包括设计更通用的视觉编码器、提高图像分辨率、整合到预训练中以及调查任务间关系。

关键观点总结

关键观点1: 多模态自指导策略

设计了一种多模态自指导策略，利用大语言模型及其代码能力合成摘要图像和推理指令，为LMM提供有价值的训练数据。

关键观点2: 合成大量抽象图像和推理指令

策略能够自主合成多种图表、仪表板、视觉谜题等，并生成相关的推理问题答案。

关键观点3: 基准测试与评估

合成了包含11,193条指令的基准测试，涵盖了八种场景，用于评估LMM的视觉推理能力。

关键观点4: 当前LMM的局限性

结果显示，当前LMM在理解和推理抽象图像方面与人类差距显著，尤其是在完成日常任务时。

关键观点5: 提升LMM能力的途径

探讨了提升LMM抽象图像理解能力的可能途径，包括设计更通用的视觉编码器、提高图像分辨率等。