人类秒懂，AI却懵圈：VLM²-Bench揭示视觉语言模型「视觉关联」能力短板

主要观点总结

本文介绍港科与MIT教授团队提出的VLM²-Bench系统，旨在探究视觉语言模型（VLMs）在“人类级基础视觉线索关联能力”上的表现。文章提出了一个全新视角，即关注那些对人类来说无需思考的本能能力，但对AI却是巨大挑战的领域。文章还介绍了VLM²-Bench的设计目的、实验发现以及未来发展方向。

关键观点总结

关键观点1: 研究背景与目的

文章介绍了视觉语言模型的能力边界不断被突破，但评测基准仍聚焦于复杂知识推理或专业场景。在此基础上，作者提出了一个新的视角，即关注那些对人类来说是非常基础且容易的能力，但对于AI却是巨大挑战的领域。并引入了VLM²-Bench系统来探究模型在“人类级基础视觉线索关联能力”上的表现。

关键观点2: 视觉关联能力的描述

文章描述了视觉关联能力对于人类的重要性，如日常生活中的视觉关联任务。以浏览照片时的面部识别、线下门店的比对购买为例，说明了这种能力不依赖于先验知识，是纯粹基于视觉的关联。

关键观点3: VLM²-Bench的设计

文章介绍了VLM²-Bench的设计目的，即全面考察VLMs对于通用线索、物体线索和人物线索三个大类的基础关联能力。涵盖了多图和视频的测试数据，共计3060个测试案例。

关键观点4: 实验与发现

文章通过引入蒙题和人类做答的两个基准来衡量VLMs的性能。实验发现，大多数模型的准确率较低，尤其在描述视频中出现的人的任务上表现出短板，模型更擅长区分人物线索而非物体线索。

关键观点5: 未来方向

文章提出了未来研究方向，包括增强基础视觉能力、平衡基于语言的推理在视觉任务中的作用以及发展新的训练范式等。