迈向3D视觉的基础模型：距离人类3D视觉机制还有多远？

主要观点总结

本文介绍了对3D视觉基础模型的评估与研究。文章构建了一个新的3D视觉理解基准，以评估模型的3D理解能力，并与人类表现进行比较。研究发现，现有的视觉语言模型（VLMs）在3D任务上表现不佳，专业模型虽然准确但不稳健，而人类视觉仍然是最可靠的3D视觉系统。文章还详细描述了基准的构建和实验结果的详细分析。

关键观点总结

关键观点1: 研究背景

随着基础模型的引入，二维视觉任务的模型精度和泛化能力得到了显著提高。然而，3D视觉基础模型和相应的基准仍然缺乏。

关键观点2: 主要工作

构建了一个新的3D视觉理解基准，涵盖基本的3D视觉任务，包括深度估计、空间VQA、相机姿态估计和关键点匹配。评估了最先进的VLMs、专业模型和人类受试者的性能。

关键观点3: 研究结果

发现现有的VLM在3D任务上表现不佳；专业模型虽然准确但在几何扰动下不够稳健；人类视觉仍然是最可靠的3D视觉系统。此外，还观察到基于Transformer的模型（如ViT）与人类的3D视力机制更紧密地结合在一起。

关键观点4: 主要贡献

提出了一个具有统一输出空间的新基准，用于评估现有模型的3D理解能力；评估了不同模型的错误模式与人类的比较；希望研究结果有利于3D视觉基础模型的未来发展。

关键观点5: 局限性

虽然文章构建了一个全面的基准来评估模型的3D理解能力，但仍有一些局限性，例如只评估了四项任务，只评估了闭源VLMs等。