两张3090复现SearchGPT！

主要观点总结

文章介绍了OpenAI推出的SearchGPT之后，港中文MMLab、上海AI Lab、腾讯团队实现的Vision Search Assistant（VSA）。VSA以视觉语言模型（VLM）为基础，融合了Web搜索能力。它能够处理未见过的图像和新概念，将多模态研究推向新的高度。文章还详细描述了VSA的处理流程，包括视觉内容描述、Web知识搜索和协同生成等。实验结果显示，VSA在开放集问答评估中表现出色，优于其他模型。最后，文章提供了论文、主页和代码的链接。

关键观点总结

关键观点1: VSA以视觉语言模型为基础，融合了Web搜索能力。

VSA能够处理未见过的图像和新概念，将多模态研究推向新的高度。

关键观点2: VSA的处理流程包括视觉内容描述、Web知识搜索和协同生成。

通过开放域的检测模型获取图像中值得关注的区域，利用VLM获取对象级的文本描述，并通过“搜索链”的迭代算法获取与视觉内容相关的Web知识。

关键观点3: VSA在开放集问答评估中表现出色。

与Perplexity.ai Pro和GPT-4-Web相比，VSA在事实性、相关性和支持性三个关键维度上得分更高。此外，在封闭集问答评估中，Vision Search Assistant也表现出最强的性能。