成果｜什么样的偏好，才叫好的偏好？——揭秘偏好对齐数据的“三驾马车”

主要观点总结

本文提出一种名为AIR（Annotations, Instructions, Response Pairs）的框架，旨在系统性地剖析构成偏好数据集的三大核心要素：标注（Annotations）、指令（Instructions）和回复对（Response Pairs）。通过控制实验，研究团队量化不同组件对于最终对齐效果的独立贡献。此外，文章还介绍了偏好数据集的优化策略，包括标注模型架构、标注Prompt设计、指令筛选、回复对构造等方面的研究和实践。

关键观点总结

关键观点1: AIR框架的提出

为了填补偏好数据集对齐性能研究的空白，研究团队提出了AIR框架，系统性地解构标注、指令和回复对三大核心要素，为优化偏好数据集设计提供了一种新的思路与方法。

关键观点2: 三大核心要素的分析

研究团队通过控制实验，量化标注、指令和回复对这三个组件对偏好数据质量和对齐性能的影响，发现合理的优化策略能显著提升累积对齐性能。

关键观点3: 偏好数据集的优化策略

研究团队在标注模型架构、标注Prompt设计、指令筛选、回复对构造等方面提出了一系列优化策略，包括极简标注策略、智能指令筛选和科学回复对构造等，这些策略能够显著提高偏好数据集的质量和对齐性能。

关键观点4: 实验验证

研究团队在不同的指令集、不同的标注模型上进行了验证实验，证明了AIR框架下各组件的有效性，并总结了三大设计原则。

关键观点5: 应用实践

AIR技术已应用于阿里安全御风大模型的业务偏好优化，提升了模型解决业务问题的能力，促进了阿里广泛多域安全审核业务的模型上线。