阿里云采用以太网取代英伟达NVlink，实现1.5万个GPU互连！

主要观点总结

阿里云资深技术专家翟恩南分享了关于大型语言模型训练架构的研究论文。论文揭示了阿里云服务提供商为数据中心设计的架构，并介绍了如何解决传统数据中心在负载均衡方面的问题。论文详细介绍了阿里巴巴如何使用以太网实现GPU之间的通信，并介绍了高性能网络（HPN）的开发及其特点。

关键观点总结

关键观点1: 阿里云服务提供商为数据中心设计的大型语言模型训练架构。

该架构旨在解决传统数据中心负载均衡方案在面对LLM训练时的问题，如哈希极化导致的流量分配不均等。

关键观点2: 高性能网络（HPN）的引入。

HPN采用2级双平面架构，能够精确选择能够承载大流量的网络路径，减少了可能出现的问题，确保了网络通信的稳定性。

关键观点3: ToR交换机的使用及其重要性。

ToR交换机在LLM训练中起到关键作用，能够相互备份以避免单点故障。每个主机配备多个GPU，每个GPU都有其网络接口卡（NIC），每个主机通过不同的通道连接到不同的ToR交换机，以确保网络连接的可靠性。

关键观点4: 阿里云面临的挑战与创新解决方案。

虽然面临交换机运行时的高热量问题以及复杂的布线结构挑战，但阿里云已经开发了一种新的散热器解决方案，并在网络架构中采用了创新的方案。这些创新使阿里云能够在设置成本上节省大量资金，甚至可能避免使用Nvidia技术。

关键观点5: 阿里云的实践验证和项目兴趣。

阿里云已经使用HPN超过八个月，证明了该技术的实际可行性。包括AMD、Intel、Google和Microsoft等在内的多家公司对这一项目感兴趣，尤其是其相比NVlink的经济性和适用性。