将慢思考蒸馏进快思考，Meta 把 Llama2 跃升至 GPT-4 水平

主要观点总结

文章介绍了Meta在AI领域的研究进展，通过把AI的“慢思考”结果蒸馏进“快思考”，让Llama2模型表现提升，并详细解释了四种系统2方法：CoT、S2A、RaR和BSM。文章还提到了系统1和系统2的区别和联系，以及为什么需要收集数据去微调系统1模型。最后，文章介绍了针对不同任务的系统2方法的测试结果，包括Llama2超越GPT-4的表现，以及接下来研究的目标。

关键观点总结

关键观点1: Meta通过把AI的“慢思考”结果蒸馏进“快思考”，提升了Llama2模型的表现。

使用了四种系统2方法：CoT、S2A、RaR和BSM，这些方法都是为了将系统2的推理能力转移到系统1。这些方法的共同目标是在未标注数据集上生成推理结果，并将这些结果用于微调系统1模型。

关键观点2: 系统1和系统2的区别和联系。

系统1是简单无意识的直觉，速度更快；系统2则是复杂有意识的推理，准确性更强。Meta的研究是将系统2的推理结果用于微调系统1模型，以提高其表现。

关键观点3: 为什么需要收集数据去微调系统1模型。

直接使用系统2模型进行推理存在速度慢和输出过长的问题，无法满足实时交互和移动设备部署等场景的需求。因此，收集数据去微调系统1模型，使其能够直接生成高质量的输出，成为一种有效的解决方案。

关键观点4: 系统2方法的测试结果。

针对不同任务的系统2方法测试结果显示，Llama2模型的表现大幅进步，甚至超过了GPT-4。其中BSM方法在人类一致性评估中表现最为突出，S2A方法主要解决模型偏见问题，RaR方法则在某些推理任务中表现出色。不过，CoT方法在数学推理任务上的蒸馏效果并不理想。

关键观点5: 研究的不足和下一步研究方向。

当前研究需要进一步明确这种蒸馏的应用场合，找到更类似于人类学习的方式。未来的研究目标是提高系统1模型的表现，尤其是在复杂任务中的表现，并探索更多有效的数据收集和处理方法。