小学数学题，大模型集体不及格！达摩院推出新基准VCBench

主要观点总结

本文主要讨论了量子位中提到的关于大模型做数学题的能力问题。文章介绍了大模型在面对基于视觉依赖性的数学推理任务时的表现，包括在准确率、视觉感知错误等方面的问题。同时，介绍了新的基准VCBench的特性和开源代码的重要性。本文也提到该基准聚焦于多图像依赖推理能力和多模态数学推理等方面，目的是评估模型是否真正具备理解数学原理的能力。

关键观点总结

关键观点1: 大模型在解决基于视觉依赖性的数学推理任务时的表现

大模型在面对小学级别的数学问题时，尽管在某些模型中表现出色，但整体准确率仍低于人类平均水平。它们似乎无法真正理解和运用基本的数学元素和视觉概念。

关键观点2: 新基准VCBench的特点

VCBench是一个专为评估具备显式视觉依赖性的多模态数学推理任务的综合基准。它主要面向小学阶段的数学问题，强调视觉为核心的评测，而非知识导向的评估。

关键观点3: VCBench对模型能力评估的多样性

VCBench全面评估了纯视觉推理的多种能力，包括六大核心认知领域和五种不同的认知能力。此外，它还通过错误类型分布分析来精准识别每个模型在不同错误类别中的相对弱点。

关键观点4: 模型的弱点

视觉感知错误在所有模型中占比最高，表明基础视觉理解能力是当前多模态模型的主要瓶颈。

关键观点5: 文章的附加信息

文章提供了论文链接、数据仓库链接、代码链接和网站链接，以方便读者进一步了解和参与讨论。