媲美OpenAI事实性基准，这个中文评测集让o1-preview刚刚及格

主要观点总结

本文主要介绍了淘天集团算法技术-未来生活实验室团队发布的Chinese SimpleQA数据集，该数据集旨在评估模型在中文领域的事实正确性。文章介绍了数据集的构建过程、评测指标、评测榜单及实验发现。

关键观点总结

关键观点1: Chinese SimpleQA数据集的介绍

数据集是第一个系统性地全面评估模型回答简短事实性问题能力的中文评测集，可以全面探测模型在各个领域的知识水平。数据集具有六个特点，包括专注于中文语言、全面性等。

关键观点2: 数据集的构建过程

构建过程分为自动化构建和质量控制两个阶段。自动化构建阶段包括知识内容提取与过滤、自动生成问答对、自动质量验证等步骤。质量控制阶段则引入了严格的人工验证流程，确保数据集的高质量。

关键观点3: 数据集评测指标和评测榜单

评测方式和指标直接遵循OpenAI的方式，包括回答正确率等指标。同时评估了多个闭源和开源模型，并提供了详细的排名榜单。

关键观点4: 实验发现

实验发现包括更大规模的模型有更好的校准性能、O1提出的推理scaling law在事实类QA上也成立、RAG仍是快速提升模型能力的捷径以及大部分模型都有明显的“对齐税”问题等。

关键观点5: 数据集的应用价值

数据集的应用价值在于帮助开发者深入了解其模型在中文领域的事实正确性，同时为算法研究提供重要基石，促进中文基础模型的成长。