GPU 矩阵乘实际可达最大FLOPS测量工具

主要观点总结

本文介绍了在GitHub上的一篇文章，关于一个名为mamf-finder的脚本，该脚本能够在任意GPU上搜索最大的Matmul FLOPS。文章提供了如何使用该脚本的详细说明和一些建议。

关键观点总结

关键观点1: 脚本功能及用途

mamf-finder脚本用于搜索最大的矩阵乘法（Matmul）FLOPS，帮助用户找到在特定GPU上能够达到的最大TFLOPS值。

关键观点2: 脚本的使用方法

用户可以通过命令行参数指定搜索范围、迭代次数和数据类型等，运行脚本以获取最大TFLOPS的矩阵形状。

关键观点3: 不同加速器的搜索范围建议

文章提供了一些建议，根据不同的加速器（如A100和H100）调整搜索范围，以找到最佳的TFLOPS值。

关键观点4: 实际使用示例和结果

文章提供了一个使用示例，展示了在NVIDIA GeForce RTX 4090上对FP8类型搜索的最大MatMul TFLOPS。通过mamf-finder工具搜索出的实际最大FLOPS为300.4 TFLOPS，达到最大理论峰值的91.0%。