H100 vs. A100 和 4090 vs. A10 实测性能（一）算力篇

主要观点总结

本文介绍了如何使用CUTLASS profiler提供的GEMM算子测试计算用途的GPU的实际峰值算力。文中通过对比实验，展示了不同GPU型号在不同精度下的性能表现，包括H100 PCIe、A100 PCIe、4090和A10。实验结果表明，CUTLASS对A100的优化比对H100的优化好，而4090在各种精度的优化上表现良好。文章还提到了GPU购买时需要注意的问题，以及通过现场测试验证GPU性能的方法。

关键观点总结

关键观点1: 使用CUTLASS profiler的GEMM算子进行GPU峰值算力的测试。

文中介绍了一种简单快速且较为准确的测试GPU实际峰值算力的方法，即使用CUTLASS profiler提供的GEMM算子进行测试。GEMM被认为是计算受限的算子，并且当下热门的Transformer模型负载也主要是GEMM，因此用其测得的最优性能可以近似当作GPU的实际峰值算力。

关键观点2: 不同GPU型号的性能对比。

通过实验对比了H100 PCIe、A100 PCIe、4090和A10等GPU型号在不同精度下的性能表现。结果表明CUTLASS对A100的优化较好，而4090在各种精度优化上表现优秀。

关键观点3: GPU购买注意事项和性能验证方法。

文章提到了购买GPU时需要注意的问题，包括合法渠道和售后保障的重要性，以及通过现场测试验证GPU性能的方法。文中还提到了如何根据测试结果评估GPU的实际性能，这对于购买者来说是非常重要的信息。