CoT推理大溃败？哈佛华人揭秘：LLM一思考，立刻就「失智」

主要观点总结

本文报道了关于大语言模型使用思维链（Chain-of-Thought，CoT）推理的新的研究发现。研究发现，在需要遵守指令或格式的任务中，使用CoT推理可能会导致模型遵守指令的准确率下降。研究指出，这是因为CoT推理可能会使模型过度关注高层次内容而忽视简单约束，或者自作聪明地添加不必要的内容，从而破坏任务约束。论文还引入了一个新指标“约束注意力”来衡量模型是否关注任务中的关键限制条件，并发现使用CoT推理会导致模型在关注任务限制方面的注意力下降。基于这些发现，研究者提出了四种改进方案来缓解这个问题。

关键观点总结

关键观点1: 研究背景及目的

随着大语言模型（LLM）的普及，人们普遍认为推理能力越强，模型越好。但最新研究发现，在需要遵守指令或格式的任务中，使用思维链（CoT）推理有时会导致模型表现不佳。

关键观点2: 主要发现

使用思维链（CoT）推理时，模型可能会过度关注高层次内容而忽视简单约束，或者擅自添加不必要的内容，导致任务完成质量下降。引入“约束注意力”指标后发现，使用CoT推理的模型在关注任务限制方面的注意力下降。

关键观点3: 研究意义

这项研究为我们理解大语言模型中推理的使用提供了新的视角，并指出了存在的问题和改进方向。同时提醒开发者在使用AI时需要注意的问题，如明确提示中的规则、引入判断机制等。

关键观点4: 改进方案

基于研究发现的四种改进方案：上下文学习、自我反思、自我选择推理和分类器选择推理。其中分类器选择推理表现出最稳定和最优秀的性能提升效果。