CCKS-IJCKG2024评测｜山西大学和爱丁堡大学联合推出Text-to-SQL评测

主要观点总结

本文介绍了Text-to-SQL任务及其面临的挑战。为了应对这些挑战，山西大学和爱丁堡大学联合推出了Archer数据集，包含数学、常识和假设推理类型的查询。文章还介绍了Archer数据集的内容、评估指标、赛程及报名方式、奖励设置和任务组织联系人等信息。另外，还提及了OpenKG项目旨在推动中文知识图谱的开放、互联及众包。

关键观点总结

关键观点1: Text-to-SQL任务简介

将自然语言问题转换为可执行的SQL语句，在学术界和工业界受到广泛关注，但仍面临数学、常识和假设等复杂推理需求的挑战。

关键观点2: Archer数据集介绍

Archer是一个双语Text-to-SQL评测基准，包含1042个中文问题、1042个英文问题和521个相应的SQL查询，旨在应对复杂和微妙的查询需求。

关键观点3: 评估模型能力的指标

使用VAlid SQL (VA) and EXecution accuracy (EX)两个指标来评估模型的能力。

关键观点4: 赛程及报名方式

介绍了比赛的赛程、报名方式、提交结果及代码的时间、评测论文时间、评测颁奖时间等详细信息。

关键观点5: 奖励设置和任务组织联系人

本次任务总奖金池为10000元，并介绍了任务组织者和联系人的信息。

关键观点6: OpenKG项目简介

介绍了OpenKG项目旨在推动中文知识图谱的开放、互联及众包的信息。