多模态模型学会“按需搜索”，少搜30%还更准！字节 新研究优化多模态模型搜索策略

主要观点总结

MMMalch-R1团队通过基于端到端强化学习的多模态模型自主搜索训练，实现了按需搜索功能。该研究通过搭建网络搜索工具、构建多模态搜索数据集和涉及奖励机制的方法，优化了多模态模型的搜索策略。实验结果表明，MMMalch-R1系统在知识密集型视觉问答任务中展现出显著优势，性能超越同规模模型在传统检索增强生成工作流下的性能，并在减少搜索次数的前提下达到更大规模模型的性能水平。该研究为开发具备现实世界交互能力的多模态大模型提供了重要洞见。

关键观点总结

关键观点1: 研究背景

随着视觉-语言训练数据集规模和质量的提升，多模态大模型在跨模态理解任务中展现出色性能。但现实世界的动态性和复杂性对模型的部署可靠性构成挑战，促使网络搜索成为扩展模型能力的重要工具。

关键观点2: 研究方法

MMMalch-R1项目集成了多轮搜索的强化学习训练，包括多模态搜索工具、多轮搜索强化学习训练和带有搜索惩罚的奖励函数。研究还构建了FactualVQA数据集，采用半自动化流程聚焦需要丰富视觉与文本知识支持的问答场景。

关键观点3: 实验结果

经过强化学习训练的模型在知识密集型VQA任务中展现出更高的平均准确率，搜索比率降低，同时增强了优化搜索内容和处理搜索结果的能力，以及挖掘利用固有知识的能力。强化学习相比监督微调展现出更大潜力，数据搜索比例均衡和奖励函数中的搜索惩罚机制有助于塑造模型的按需搜索行为。

关键观点4: 研究意义

该研究为开发具备现实世界交互能力的多模态大模型提供了重要洞见，为构建自适应、交互式的多模态智能体奠定基础。通过模型与现实世界的持续交互，多模态智能在推理和适应能力上有望实现新的飞跃。