MMSearch：新坑来了！多模态大模型也可以作为搜索引擎了？

主要观点总结

本文主要介绍了关于多模态大型语言模型(LLMs)在人工智能搜索引擎中的应用研究。文章讨论了如何将多模态LLMs应用到搜索引擎中，特别是在处理包含图像查询和用户查询的多模态性质时的重要性。重点介绍了MMSEARCH-ENGINE框架和其关键设计和数据组成，包括问题重构、网页排序和答案总结三个阶段。同时，文章还介绍了MMSearch测试集的设计和评估标准，以及实验结论。最后，文章还讨论了数据集更新、实验与结论等内容。

关键观点总结

关键观点1: MMSEARCH-ENGINE框架的引入及其重要性

为了赋予任何大型多模态模型（LMMs）多模态搜索能力，研究团队提出了MMSEARCH-ENGINE框架。该框架不仅支持包含图像的查询，还同时输入文本和视觉的网页信息，确保全面理解网页内容。它包括问题重构、网页排序和答案总结三个关键阶段，充分利用了LMMs的多模态信息理解能力。

关键观点2: MMSearch测试集的设计和评估标准

为了评估LMMs在多模态搜索中的性能，研究团队设计了MMSearch测试集。该测试集包含300个精心选择的问题，覆盖14个子领域，分为新闻和知识两大类。其设计目的是全面评估LMM在多模态搜索中的各项能力，从查询生成到结果分析的全过程都被纳入考量。

关键观点3: 实验结论和发现

实验结果显示，高分辨率输入并没有为大部分LMM带来明显的性能增益。LMM在问题重构与网页排序能力上有明显欠缺。闭源与开源LMM模型仍有显著的性能差距。MMSEARCH-Engine在端到端任务中超越了商业AI搜索引擎Perplexity Pro。此外，研究者发现通过扩展测试时计算，可以显著提高模型的端到端任务得分。