IJCKG2025 | Archer: 基于推理的Text-to-SQL评测

主要观点总结

本文介绍了IJCKG2025 Archer文本转SQL评估任务的相关内容。该任务旨在通过自然语言交互与数据库进行更友好、直观的数据交流，核心目标是将自然语言问题转化为可执行的SQL语句。文章详细阐述了任务的核心目标、数据集描述、评估指标、评测赛程安排、主要参赛规则、奖励设置以及任务组织者与联系人和免责说明。

关键观点总结

关键观点1: 任务介绍

该任务旨在实现更友好、直观的自然语言与数据库的交互，将自然语言问题转化为可执行的SQL语句，其中存在三大核心推理类型：算术推理、常识推理和假设推理。

关键观点2: 数据集描述

Archer数据集包含1042个中文问题、1042个英文问题及521条对应的SQL查询，覆盖20个不同领域的20个数据库。数据集及排行榜地址已提供。

关键观点3: 评估指标

使用两个指标评估模型能力：VA lid SQL（VA），即成功执行的预测SQL语句的比例，无论答案是否正确；Execution accuracy（EX），即预测SQL语句执行结果与标准SQL语句执行结果相匹配的比例。

关键观点4: 评测赛程安排

具体的竞赛安排包括提交方法至Archer基准进行评估的要求和规则，以及相关的提交日期、注册方式和奖励设置等信息。

关键观点5: 主要参赛规则

参赛者需确保提交的信息准确有效，团队组建和名称需遵守相关规定，允许使用开源代码或工具，但禁止使用未公开发布或需要许可的代码或工具。

关键观点6: 奖励设置

任务总奖金池为4000美元，具体奖励设置包括一等奖、二等奖、三等奖及荣誉证书。