Llama-3-SynE：实现有效且高效的大语言模型继续预训练

主要观点总结

本文介绍了一种针对大语言模型的有效且高效的继续预训练（CPT）方法，该方法显著增强了Llama-3（8B）的中文语言能力和科学推理能力。研究通过双语适应阶段和合成增强阶段的设计，实现了在增强新能力的同时保持原有能力。此外，该研究还公开了用于CPT的完整数据集和代码，以便后续研究使用。

关键观点总结

关键观点1: 研究背景

大语言模型在特定场景中存在知识缺口问题，特别是在非英文任务上的表现。为了解决这个问题，研究者们采用了继续预训练（CPT）的方法。

关键观点2: 研究方法

本研究提出了基于Llama-3的CPT方法，包括双语适应阶段和合成增强阶段。在双语适应阶段，通过调整中英文语料比例和采用基于困惑度的数据课程策略来提高模型的中文能力。在合成增强阶段，通过数据合成技术生成高质量的科学和代码数据，进一步提高模型的科学推理能力。

关键观点3: 研究成果

实验结果表明，该方法在提升Llama-3的中文语言和科学推理能力的同时，不损害其原有能力。研究者还在多项评估基准上测试了Llama-3-SynE的性能，证明了其有效性和高效性。

关键观点4: 数据公开

研究团队公开了用于CPT的完整数据集和代码，其中包括98.5B token的通用语料和1.5B token的专注于科学推理和代码任务的合成数据。

关键观点5: 研究贡献

本研究提出了完整的CPT训练过程，包括数据选择、混合和课程设计。此外，研究还探索了数据合成技术，并公开了模型和代码，为后来的研究提供了重要参考。

免责声明