清华等提出 Absolute Zero 自博弈大模型，完全无数据训练登顶多项任务

主要观点总结

本文介绍了名为Absolute Zero Reasoner（AZR）的新方法，它为模型提供了一种无需人工输入即可自主演进推理技能的方法。AZR采用了一种新的推理范式，即绝对零度，用于在没有任何人工策划数据的情况下训练推理模型。它通过任务提出者（Proposer）与求解者（Solver）的角色，在与可执行环境交互中进行强化自博弈训练。AZR无需人工数据即可进行训练，性能甚至超越基于数千个专家示例进行微调的模型。此外，文章还介绍了AZR的工作原理、模块、目标函数、推理任务分类、实验设置和实验结果等。

关键观点总结

关键观点1: AZR采用绝对零度范式进行推理模型的训练，无需人工数据和策划的任务。

AZR通过任务提出者和求解者的角色，使模型能够自主地提出和解决任务。这种自主提出任务的方式，使模型能够在不需要人工干预的情况下，实现可靠且持续的自我改进。

关键观点2: AZR的三种基本推理任务。

AZR包括三种基本推理任务：归纳、演绎和溯因，这些任务涵盖了不同的认知技能，从循序渐进的逻辑推理到创造性解决问题。

关键观点3: AZR的实验结果和优势。

在多个基准测试中，AZR的性能超越了许多现有的模型。实验结果表明，AZR模型在无需人工数据的情况下进行训练，其性能甚至超越了基于数千个专家示例进行微调的模型。此外，AZR还显示出在不同任务类型之间的互补性，以及逐渐出现的“中间注释计划”行为和不同的“认知行为”。

免责声明