再来谈谈未来AI基础设施演进和EthScaleUP

主要观点总结

本文讨论了大模型在前沿数学评测中的落败、AI基础设施的演进及面临的挑战。涉及FrontierMath、数学基础在模型中的应用、AI基础设施的算法演进、芯片互联技术、以太网ScaleUp等方面。文章指出当前大模型的数学基础工具出现缺陷，并分享了关于如何引入当代数学工具到计算模型中的观点。同时，探讨了算法的演进、基础设施的未来发展及面临的挑战，如Ethernet ScaleUp的问题、两流组网问题、Packet Rate Improvement的问题等。

关键观点总结

关键观点1: 大模型在前沿数学评测中的落败及原因

当前大模型在前沿数学的评测中表现不佳，根源在于其数学基础工具出现缺陷。文章提到了如何引入当代数学工具到计算模型中的观点。

关键观点2: AI基础设施的演进

文章讨论了AI基础设施的算法演进和面临的挑战，包括算法的更新、数学在模型中的应用、GNN等图神经网络的发展、稀疏化算法的探索等。同时探讨了基础设施在外界约束下的演进，如单颗芯片的限制定、Chiplet和I/O Die的各种互联技术的演进等。

关键观点3: 以太网ScaleUp的挑战和解决方案

文章分析了以太网ScaleUp面临的挑战，如RDMA不适合ScaleUp网络的问题、LD/ST内存语义简单的over Ethernet的可行性问题、两层组网的问题等。同时探讨了Packet Rate Improvement的问题，以及一些可能的解决方案，如基于EthZ的以太网ScaleUp互联方案等。