清华团队新作CoSpace：视觉语言模型的空间感知能力到底有多强？

主要观点总结

本文介绍了清华大学团队提出的CoSpace基准，旨在评估视觉语言模型（VLMs）在连续空间感知方面的能力。研究包含2918张图片和1626个问答对，覆盖7类任务，对19个主流模型进行了全面测试。结果显示，即使是商用模型在连续空间理解上也存在明显短板。这项研究为提升VLMs在导航、规划等实际应用中的表现提供了重要参考。

关键观点总结

关键观点1: 研究背景

视觉语言模型近年来在视觉理解任务中表现出色，但在连续空间感知能力方面仍存在明显短板。研究旨在评估模型在静态视角下的连续空间感知能力。

关键观点2: 研究方法

CoSpace基准包含2918张图像和1626个问答对，覆盖7类任务，旨在评估VLMs在三个核心能力上的表现。包括方向感知、图像对应关系识别、空间规划决策。

关键观点3: 实验结果

在19个主流模型中，Claude-3.7-sonnet以51.97%的平均准确率夺冠，但人类标注者的成绩是86.25%。实验结果显示模型在方向感知类任务和旋转角度任务中存在困难。

关键观点4: 实际意义

这项研究对于评估AI的连续空间感知能力具有重要意义，为自动驾驶、服务机器人等应用提供了重要参考。研究填补了多模态模型评测的空白，为具身智能、自动驾驶等领域奠定评估基础。