MIT最新发现：这十年，算法进步被高估了

主要观点总结

本文主要探讨了过去十年中AI发展的主要推动力，特别是算法进步的作用。通过对语言模型的算法创新进行分析，研究发现算法进步对AI的有效计算量贡献了超过4个数量级的提升。文章还讨论了算法进步的来源、规模不变型算法和依赖于规模的算法的区别，以及算法进步的本质和其对不同规模模型开发者的不同影响。此外，文章还通过消融实验和规模扩展实验等方法对算法创新进行了评估。

关键观点总结

关键观点1: AI发展的主要推动力包括计算预算的增长和算法创新。

在过去的十年中，这两股力量共同推动了AI的进步。

关键观点2: 算法进步对AI的有效计算量提升了超过4个数量级。

根据对历史AI文献的分析，这一进步是由所有算法创新共同实现的，使模型的效率提高了大约22,000倍。

关键观点3: 大多数算法创新带来的效率提升有限。

经过实验评估，大多数算法创新只带来了小幅的、与规模无关的效率提升，总体计算效率提升不到10倍。

关键观点4: 规模依赖型算法创新在效率提升中占主导地位。

研究发现，从LSTM到Transformer以及从Kaplan到Chinchilla的算法创新是效率提升的主要来源，占据了全部效率提升的91%。

关键观点5: 算法进步的速度取决于参照物的选择。

文章指出，相对于不同的基线算法，连续模型之间的进步率可能会有很大的差异。