谈一谈对大模型对齐框架的反思及其改进思路

主要观点总结

本文介绍了作者对当前大模型对齐框架的反思及其改进思路，旨在实现一个对人力标注依赖很小、能够自我进化的对齐模型。文章详细阐述了当前技术架构的潜在问题，并提出了对SFT（指令对齐）、RM（输出偏好模型）和PPO（微调优化）等阶段的改进思路。

关键观点总结

关键观点1: 当前大模型对齐技术架构的潜在问题

作者指出当前的大模型对齐技术架构存在一些问题，如难以满足期望的输出形式多样性、不利于模型的自我进化和能力统一等。特别是在SFT阶段，统一的输出标准会限制模型的千人千面、千题千面能力。

关键观点2: 对SFT阶段的改进思路

作者提出在SFT阶段应该避免固化任务输出标准，采用多元的输出形式。同时，强调基于正例的SFT排他性较差，更适合学习『要做什么』，而不擅长学习『不要做什么』。

关键观点3: RM模型的作用和改进方向

作者认为RM模型是输出偏好的载体，能够高效地从SFT模型的多元化输出中挑选出符合用户要求的输出。他强调了RM系统需要同时支持pointwise和pairwise输入形式的学习，以及支持千人千面的打分形式和模型进化。

关键观点4: PPO阶段的重要性和改进策略

作者认为PPO阶段在模型进化中扮演重要角色，不仅能够学习『不要做什么』，还可以通过数据合成来引导模型的能力进化。同时，要重视离线数据的使用。

免责声明