ACL 2025 | 数据多不如风格齐？SCAR精选<1%样本，指令微调效果飙升

主要观点总结

本文介绍了RMIT大学、新南威尔士大学和莫纳什大学联合发表的论文，提出了一种新的数据选择方法SCAR，旨在通过选择具有风格一致性的高质量训练数据来提高大语言模型指令微调的效率。文章主要贡献包括风格一致性理论框架的识别、SCAR数据选择方法的提出以及实验证明等。

关键观点总结

关键观点1: 风格一致性对大语言模型指令微调性能的影响

文中首次系统性地分析了训练数据中的风格一致性对大语言模型指令微调性能的影响，识别出Linguistic Form和Instructional Surprisal两个关键风格要素。

关键观点2: SCAR数据选择方法的提出

针对现有数据选择策略的不足，提出了一种基于风格一致性感知的数据排序方法SCAR，能够自动从大规模数据集中选择高质量、风格一致的训练样本。

关键观点3: SCAR方法的应用与实验结果

SCAR方法在代码生成和开放域问答两个领域都取得了显著效果提升，实验证明使用SCAR选择的数据进行训练，可以在仅使用0.7%-25%原始数据的情况下，达到或超越全量数据训练的性能。

关键观点4: SCAR方法的贡献与意义

SCAR方法为大语言模型的经济高效训练提供了新的路径，其跨域泛化能力和工具包的开源发布，有望推动大语言模型训练技术的进一步发展和普及。