2024 年了，你的长文本训练数据真的够长吗？

主要观点总结

本文提出了一种名为ProLong的方法，旨在从海量的长文本数据中挖掘出具有长依赖性的数据，用于提升大语言模型（LLMs）的长文本建模能力。文章介绍了方法的具体实现，包括数据预处理、长依赖分数计算、实验设计及结果等。文章还讨论了该方法的出发点和优越性。

关键观点总结

关键观点1: 研究背景

现阶段大语言模型在长文本建模方面存在挑战，特别是在处理长文档、长对话历史或大型代码库等超长输入场景时。因此，研究如何扩长大语言模型的上下文窗口成为重要课题。

关键观点2: 方法介绍

ProLong方法旨在通过挖掘具有长依赖性的数据来训练大语言模型。该方法包括数据预处理、计算长依赖分数、选择高质量长文本数据等步骤。其中，长依赖分数是通过结合依赖强度、依赖距离和依赖特异性三个指标来计算的。

关键观点3: 实验结果

实验结果表明，使用ProLong方法选择的数据进行训练的大语言模型，在多个长文本任务上取得了优于传统训练方法的性能。此外，消融实验也验证了长依赖分数计算中每个组件的有效性。

关键观点4: 方法优越性

ProLong方法的优越性体现在其能够自动筛选高质量的长文本训练数据，从而有效提升大语言模型的长文本建模能力。此外，该方法还具有可扩展到不同语言模型和数据集的特点。

关键观点5: 研究展望

未来研究方向包括进一步优化长依赖分数的计算方法，探索更有效的长文本数据筛选方法，以及将ProLong方法应用于更多领域和场景。