长文 | 大模型偏好对齐全家桶 - RL侧

主要观点总结

文章介绍了强化学习从人类反馈（RLHF）的多种魔改思路，包括On Policy和Off Policy两大路线。On Policy方法需要模型亲自输出答案，然后根据反馈学习；Off Policy方法则通过给定的「好坏样本」来进行模拟学习。文章还提到了各种优化方法，如ReMax、GRPO、DPO、DPOP、TDPO和ORPO，以及它们的优缺点和适用场景。文章还提到了如何评估大模型的好坏，并探讨了垂直领域大模型的一些思考。

关键观点总结

关键观点1: On Policy和Off Policy的区别

On Policy需要模型亲自输出答案，然后根据反馈学习；Off Policy则通过给定的「好坏样本」进行模拟学习。

关键观点2: ReMax、GRPO、DPO、DPOP、TDPO和ORPO的优缺点

ReMax减少了模型数量，但牺牲了一些效果；GRPO和DPO减少了模型数量，提高了训练速度；DPOP和TDPO增加了正则化项，提高了模型的稳定性；ORPO则完全去除了reference model，简化了训练过程。

关键观点3: 如何评估大模型的好坏

可以通过测试模型的性能、效果、速度、稳定性等方面来评估大模型的好坏。

关键观点4: 垂直领域大模型的思考

垂直领域大模型需要针对特定领域进行定制化训练，同时考虑数据隐私和安全性。