这届出题太难了！新基准让多模态模型集体自闭，GPT-4o都是零分

主要观点总结

文章介绍了名为ZeroBench的视觉基准测试，该测试包含了全新的100个问题，旨在评估大模型的视觉理解和推理能力。这些问题包含各种视觉元素，如复杂的图片解析，逻辑推理和难题挑战等。该基准测试中的问题难度较高，对现有大模型来说都是极大的挑战。经过对多个大模型的评估，所有模型的答题表现均不理想，说明了当前大模型在面对复杂问题时存在的挑战。

关键观点总结

关键观点1: ZeroBench测试的特点和目的

包含了全新问题；重点评估大模型的视觉理解和推理能力；设计独特的手工定制题目增加了问题多样性和挑战性。

关键观点2: 问题的类型和内容

涉及复杂图片解析、逻辑推理等；包含多种视觉元素；需要多步骤推理和高级推理能力。

关键观点3: 大模型的挑战和表现

现有的大模型在ZeroBench测试中的表现均不理想；难以回答这些具有挑战性的问题。

关键观点4: 错误分析和结论

通过错误分析发现，现有大模型在视觉解读上存在缺陷，如计算物体数量错误、难以捕捉细微细节和准确提取信息等。