自我反思助力VLM推理！南大清华提出VLM自训练框架，支持Inference Scaling

主要观点总结

本文主要介绍了如何通过自训练框架提升多模态语言模型（MLLMs）在视觉语言推理上的表现。通过构建一个针对视觉语言场景的Self-Train自训练框架和新增的自我反思机制，模型能够在错误中学习并提升自我提升的效率。实验证明，该框架能够大幅提升VLM的CoT推理能力，并且具备可扩展性。

关键观点总结

关键观点1: 文章背景及研究意义

随着多模态大语言模型（MLLMs）的广泛应用，其在需要复杂多模态推理的任务上仍存在不足。文章旨在通过自训练框架提升MLLMs在视觉语言推理上的表现，解决当前面临的挑战。

关键观点2: 主要方法

文章提出了一个迭代式的多模态自训练框架（R3V），通过自我反思以从错误中学习，提升VLM的推理能力。主要包括交替进行的两部分：1. 为多模态推理数据集迭代地bootstrap扩增正负样本；2. 利用自我反思机制引导模型从多个推理路径中选择正确答案。

关键观点3: 创新点

文章的创新点在于引入了自我反思的机制来从错误中学习，教会模型改正自己的错误，并从多个推理路径中反思得到最终正确答案。同时，提出了一个支持Inference Scaling的Self-Select机制，在测试时让VLM先生成多个推理路径再从中比较推导出最终结果。

关键观点4: 实验结果

实验结果表明，文章提出的自训练框架R3V在无需额外数据的情况下大幅提升了VLM的CoT推理能力。同时，通过自我反思从错误中学习，取得了比经典自训练方法更好的学习效率和效果。此外，Self-Select机制具备一定可扩展性，能够通过增加采样次数稳定提升推理能力，且明显优于多数投票方法。

关键观点5: 结论与展望

文章提出了一种新颖的VLM自训练框架，以反思机制为核心让模型从错误中学习，迭代地提升VLM的推理性能。该框架具有广泛的应用前景和潜在的商业价值。