(CVPR 2025) 3D 视觉语言模型真的“懂”物体了吗？BEACON3D 给出了残酷答案

主要观点总结

该论文提出了一种新的针对3D视觉与语言理解任务的评测方法，旨在解决现有评测标准存在的系统性失真问题。论文通过揭示三大问题并创新性地提出解决方案，强调以物体为单位的评测方式的重要性。主要创新点包括提出Object-centric Evaluation、Grounding-Chain与Grounding-QA-Chain概念以及Chain-of-Analysis评测范式。论文还通过构建高质量3D场景与对象级标注数据集，对模型进行细致分析并可视化结果。

关键观点总结

关键观点1: 创新性地解决现有3D-VL benchmark的系统性评测失真问题。

论文指出当前评测标准存在歧义、不自然和标注错误等问题，并提出Object-centric Evaluation，以物体为单位进行评测，要求同一个物体上的多条测试全部正确，才算该物体正确。

关键观点2: 提出并落地Grounding-Chain与Grounding-QA-Chain。

论文首次系统提出Grounding-Chain（同一目标物体，从粗到细的多级指代表达）与Grounding-QA-Chain（QA必须语义上可由grounding文本推出），用于评测grounding与QA的一致性。通过链式评测结构分析模型失败类型。

关键观点3: 构建高质量的3D场景与对象级标注数据集。

论文构建了包含30个精选高质量场景的数据集，并对每个目标物体进行单独、完整的对象级标注和评测。

关键观点4: 提供可视化结果展示和分析。

论文通过可视化的方式展示其评测结果的实例，包括Grounding-Chain的可视化、链长度变化的可视化以及Grounding-QA不一致案例的可视化等。