CoT 技术究竟能否拯救 LLM？田渊栋、马腾宇在线“互怼”：皆因OpenAI o1发布

主要观点总结

谷歌DeepMind的Denny Zhou在社交媒体上发表关于LLM模型潜力无穷的观点，并通过Chain of Thought（CoT）技术实现Transformers解决需要逻辑推理的复杂问题。该论文发表在ICLR 2024上。但Meta AI的Yuandong Tian对此提出质疑，指出理论和实践之间的差距，CoT长度过长会导致模型训练难度大，并且难以模仿人类推理的效率。双方展开激烈的讨论，其他专家也参与讨论并提出自己的看法。这一切发生在OpenAI推出o1模型之后，关于CoT的可行性以及o1模型是否AGI的关键一步还有待观察。

关键观点总结

关键观点1: Denny Zhou的观点和论文

Denny Zhou认为LLM模型的推理能力没有极限，只要给它足够的时间，它就能解决任何问题。他是Chain of Thought Empowers Transformers论文的主要作者之一，该论文介绍了使用CoT技术让LLM模拟人类思考过程的方法。

关键观点2: Yuandong Tian的质疑

Yuandong Tian对Denny Zhou的观点提出质疑，指出理论和实践之间的差距，以及CoT长度过长导致的模型训练难度和问题效率。他还提到了人类推理链的简洁高效性，质疑AI是否真的能模仿。

关键观点3: 其他专家的观点和讨论

其他专家就CoT技术的未来发展进行了讨论，包括限制CoT长度、研究更短的CoT路径、建立机器学习模型分类体系以及勇于尝试和探索等观点。

关键观点4: OpenAI的o1模型和AGI的讨论

OpenAI推出了o1模型预览版，其潜力尚未完全展现。CoT技术在o1模型中的应用和未来发展将与AGI的进步密切相关。

免责声明