大模型微调项目 / 数据集调研汇总

主要观点总结

本文主要介绍了近期的大模型微调项目，包括ChatGLM-6B、Alpaca-CoT、BELLE等项目的介绍和特点。文章还提到了几个有特色的中文数据集，如Alpaca-CoT数据集、微软论文《INSTRUCTION TUNING WITH GPT-4》开源的数据集等。文章最后讨论了数据清洗方案、微调方案的选择以及强化学习在模型训练中的重要性。

关键观点总结

关键观点1: 大模型微调项目的特点

大量项目的诞生源于ChatGPT的效果和LLaMA等基座模型的推出。项目本质都是基于底座模型、微调数据和高效微调方案。好的项目定义是Github star高、持续维护更新、作者详细解析和深入研究。

关键观点2: 热门项目介绍

如ChatGLM-6B、Alpaca-CoT、BELLE等，都使用了不同的底座模型、微调数据和高效微调方案。它们各有亮点，如GLM结构、大规模中文IFT数据集、统一多个底座模型等。

关键观点3: 中文数据集的特色

如Alpaca-CoT、微软论文《INSTRUCTION TUNING WITH GPT-4》开源的数据集等，规模较大、类型多样。其中COIG数据集规模很大、类型很全，包括翻译指令、考试指令、价值对齐、反事实校正等多领域数据。

关键观点4: 数据清洗方案

数据清洗对于提高模型训练效果至关重要。多样性、高质量、启发式等方法可结合使用。例如使用ROUGE指标过滤指令，使用PPL等指标筛选生成的指令和回复，计算困惑度进行筛选等。

关键观点5: 微调方案的选择

Full-Tuning效果最佳但需要大量资源，其他如P-TuningV2/Lora/Freezing也有不错效果。强化学习在模型训练中非常重要，可以减少幻觉问题。

免责声明