科学家发布大规模科学文档基准数据集，助力解决高质量科学语料稀缺问题

主要观点总结

上海人工智能实验室联合多个高校团队发布了首个大规模多模态结构化科学文献基准数据集DocGenome，旨在训练和测试多模态大语言模型，并挖掘科学文献对AI系统的价值。该数据集通过自动标注arXiv上的科学文档，具有完整性、逻辑性、多样性和正确性的四个关键特征。相关论文已发表在arXiv上。数据集解决了以往研究中数据稀缺和标注成本过高的问题，并开发了一种自动化科学文档结构化标注工具DocParser。DocGenome实现了多种复杂模态的标注，包括图表、方程式等，并构建了区域间的二元逻辑关系。该数据集有望为自动化多模态科学文档理解和AI科学问题发现等研究和应用提供重要支撑。

关键观点总结

关键观点1: DocGenome数据集的发布

这是首个大规模多模态结构化科学文献基准数据集，旨在训练和测试多模态大语言模型。

关键观点2: 数据集的标注特点

数据集具有完整性、逻辑性、多样性和正确性的关键特征，并使用了自定义的自动标注管道进行标注。

关键观点3: 解决数据稀缺和标注成本过高的问题

课题组开发了一种自动化科学文档结构化标注工具DocParser，自动标注了50万篇arXiv科学文献，节省了约400万至500万元的人工标注成本。

关键观点4: DocGenome数据集的应用价值

数据集支持多种复杂模态的标注，包括图表、方程式等，有助于自动化多模态科学文档理解和AI科学问题发现等研究。该数据集有助于将科研人员从繁重的阅读文献任务中解脱出来，提高创作效率。