ACL’25 | 群体比较推理释放LLM-as-a-Judge 在评测中的scaling效果

主要观点总结

本文提出了一种基于群体的比较评测方法（CCE），用于解决LLM-as-a-Judge在自动评测中存在的局限性。通过引入群体回复与待评测回复进行对比，CCE方法能够揭示更深入的细节，提高评测的可靠性和准确性。实验表明，该方法在多个评测基准上均表现出显著的优势。

关键观点总结

关键观点1: 研究背景

由于人工评测成本高昂且难以扩展规模，LLM-as-a-Judge已逐渐成为自动评测框架。但存在评测时的偏见问题以及对误导性上下文的敏感，限制了其可靠性。

关键观点2: 现有方法的问题

现有方法如多数投票和标准扩展，试图解决LLM-as-a-Judge的局限性，但效果有限，无法有效引导LLM进行更深入、更富细节的CoT推理。

关键观点3: 提出的解决方案

提出基于群体的比较评测方法（CCE），通过引入群体回复与待评测回复进行对比，强制LLM遍历不同质量层级的回复特征，激发对候选回复特征的深度理解。

关键观点4: 实验表现

实验表明，CCE方法在多个偏好评测基准上均表现出显著的优势，提高了LLM-as-a-Judge的评测性能，显著提高了评测的可靠性。

关键观点5: 其他应用

CCE方法还应用于监督微调（SFT）中的拒绝采样任务，实现了更高效的监督微调。此外，该方法还具有较高的灵活性和有效性，适用于多种通用场景。

免责声明