新研究！Meta ｜ 提出AggLM，通过推理聚合，大幅提升LLM推理能力！

主要观点总结

文章介绍了大语言模型在复杂问题上的挑战，如数学和逻辑推理问题。针对这些问题，研究人员采用自洽性解码策略，但存在缺陷。文章引出作者提出的AggLM模型，旨在解决“少数服从多数”的问题，通过批判性地审查、纠错、整合答案，来提高大模型的推理能力。该模型包括解题模型负责生成初步方案，聚合模型负责最终答案的输出。训练过程采用可验证奖励的强化学习。作者在四个极具挑战性的数学竞赛数据集上进行测试，证明了AggLM的性能提升和泛化能力。

关键观点总结

关键观点1: 大语言模型在复杂问题上的挑战

文章首先介绍了大语言模型在面对复杂的数学、逻辑推理等问题时，即便是最顶尖的AI，也会出现错误。

关键观点2: 自洽性解码策略的缺陷

研究人员普遍采用自洽性解码策略，但存在当真理恰好掌握在少数派手中时的问题。

关键观点3: AggLM模型的提出

针对上述问题，作者提出了AggLM模型，旨在教会模型独立思考、去伪存真，并介绍了其工作流程和核心思想。

关键观点4: AggLM模型的训练

作者采用可验证奖励的强化学习对AggLM模型进行训练，并强调了训练数据平衡的重要性。

关键观点5: AggLM模型的性能提升和泛化能力

作者在四个数学竞赛数据集上进行了测试，证明了AggLM的性能提升和泛化能力，并介绍了其在实际应用中的优势。