LLM预训练和后训练新范式

主要观点总结

本文翻译了Sebastian Raschka的“New LLM Pre-training and Post-training Paradigms”，介绍了四个大型语言模型（LLM）的预训练和后训练方法。这四个模型分别是阿里巴巴的Qwen 2、苹果的苹果智能基础模型(AFM)、谷歌的Gemma 2和Meta的Llama 3.1。

关键观点总结

关键观点1: 阿里巴巴的Qwen 2预训练和后训练方法

Qwen 2模型预训练在7万亿训练数据上进行，并采用了两阶段预训练方法。后训练采用了监督指令微调（SFT）和直接偏好优化（DPO）。

关键观点2: 苹果的AFM预训练和后训练方法

AFM模型注重数据质量而非数量，在预训练过程中使用了核心预训练、持续预训练和上下文扩展三个阶段。后训练结合了监督微调、人工标注数据和合成数据，并采用了多种偏好调优算法。

关键观点3: 谷歌的Gemma 2预训练和后训练方法

Gemma 2模型注重开发相对较小且高效的LLMs。预训练过程中采用了知识蒸馏和滑动窗口注意力机制。后训练包括监督微调（SFT）和带有人类反馈的强化学习（RLHF）步骤。

关键观点4: Meta的Llama 3.1预训练和后训练方法

Llama 3.1模型在巨大的15.6万亿标记数据集上进行预训练，并采用了三阶段的预训练方法。后训练采用了监督微调（SFT）、拒绝采样和直接偏好优化（DPO），并使用了模型平均技术来提高性能。