动态微调 DFT：从强化学习的视角改进监督微调 SFT

主要观点总结

本文主要介绍了LLM训练范式中强化学习与监督学习的区别和联系，并详细描述了动态微调（DFT）的原理及其在LLM训练中的应用效果。

关键观点总结

关键观点1: LLM训练通常包含三个阶段：大规模无监督预训练、基于SFT的微调、基于RL的微调。

第一阶段主要学习语言规律，但难以保证模型输出的准确性与质量；第二阶段利用人类专家标注的数据对LLM进行微调，提高其指令遵循能力，但受限于标注数据的覆盖范围和标注风格；第三阶段则利用RL方法进一步微调LLM，提升其泛化能力与任务适应性。

关键观点2: SFT与基于策略的RL在优化目标上的联系

可以将LLM的文本生成过程视作一个RL问题，从而建立SFT与基于策略的RL的联系。在此基础上，研究者们提出了多种改进方法，本文重点介绍了DFT。

关键观点3: DFT的原理

DFT通过引入动态矫正机制来缓解SFT梯度中过度关注低概率样本的问题。它通过引入原始权重的反比作为梯度权重，中和重要性采样权重，避免低概率样本梯度的权重被过度放大。实验表明，DFT有效提高了模型的泛化能力。

关键观点4: DFT的实验结果

实验结果表明，DFT在不同任务、模型架构、规模和数据量下均超越了标准SFT。特别是在复杂数学推理任务上，DFT展现出更强的鲁棒性，证明了其作为微调方法的潜力。