谈谈CoT和推理的Scaling Law

主要观点总结

文章主要围绕大模型的讨论，涉及DeepMind和Meta的论文争议、算法复杂度和可计算性的关系、LLM的ALU装置可能性、基础模型大小和搜索效率之间的平衡，以及大模型的可解释性和可组合性等问题。

关键观点总结

关键观点1: Google和Meta的论文争议。

文章提到了关于DeepMind和Meta在相关领域的研究引发的争议和讨论。

关键观点2: 算法复杂度和可计算性的关系。

文章指出在讨论Scaling Law时，人们似乎对算法复杂度和可计算性避而不谈。

关键观点3: LLM的ALU装置可能性。

文章探讨了给LLM装一个ALU的可能性，如O1-mini已经搞定9x9以内的乘法，是否可以通过特殊代数结构外推值得研究。

关键观点4: 基础模型大小和搜索效率之间的平衡。

文章指出基础模型的大小和搜索效率之间需要达到平衡，小模型配合推理Scaling Law可以扩大搜索空间。

关键观点5: 大模型的可解释性和可组合性。

文章讨论了大模型的可解释性问题，包括如何约束和修改基础模型的Generation，以及如何结合GNN和LLM构建下一代大模型的基本架构。同时提到了如何通过旁路一个非监督学习的概念生成模块来解决一些问题，并探讨了Composable Transformer的假设和训练问题。