cuBLAS FP16 GEMM, FP32 accumulate

A library GEMM rather than an issue-rate loop, so it measures what a real workload gets at several M.N.K sizes.

測定方法

cuBLAS FP16-in/FP32-accumulate GEMM at M.N.K 1024, 2048, 4096 and 8192, one timed run per size. The Turing rows are the nlzy/turing-unlock README table, which states TFLOPS directly.

SM speed-select ヒューズの対象か: はい

実測行

8 枚のカードにわたる 21 行。21 行が 5% 超の向上、0 行は変化なし。最大の向上は GeForce RTX 4080 の 1.94× です。

モード	純正	アンロック後	向上	カード
`cuBLAS f16/f32 4096³` · cublasGemmEx, CUBLAS_COMPUTE_32F	100.7	194.9 TFLOP/s	1.94×	GeForce RTX 4080 · AD103 · 76 SM
`cuBLAS f16/f32 8192³`	83.4	162.1 TFLOP/s	1.94×	GeForce RTX 4070 Ti · AD104 · 60 SM
`cuBLAS f16/f32 4096³`	98.7	190.7 TFLOP/s	1.93×	GeForce RTX 4080 SUPER · AD103 · 80 SM
`cuBLAS f16/f32 4096³`	79.8	154.0 TFLOP/s	1.93×	GeForce RTX 4070 Ti · AD104 · 60 SM
`cuBLAS f16/f32 8192³`	75.7	144.4 TFLOP/s	1.91×	GeForce RTX 4070 SUPER · AD104 · 56 SM
`cuBLAS f16/f32 8192³` · power-limited at 250 W	100.9	177.7 TFLOP/s	1.76×	GeForce RTX 4080 SUPER · AD103 · 80 SM
`cuBLAS f16/f32 4096³`	73.6	122.9 TFLOP/s	1.67×	GeForce RTX 4070 SUPER · AD104 · 56 SM
`f16/f32 2048³` · README row 2048: 55.7 (97.9% of a 56.9 TF/s peak) -> 91.4 (160.6%)	55.7	91.4 TFLOP/s	1.64×	GeForce RTX 2080 Ti · TU102 · 68 SM
`cuBLAS f16/f32 8192³` · power-limited at 250 W, not issue-limited	102.5	164.9 TFLOP/s	1.61×	GeForce RTX 4080 · AD103 · 76 SM
`cuBLAS f16/f32 4096³` · PyTorch cuBLAS, median of 3 reps of 30 calls	30.0	46.5 TFLOP/s	1.55×	GeForce RTX 4060 · AD107 · 24 SM
`f16/f32 4096³` · README row 4096: 53.7 (94.4% of a 56.9 TF/s peak) -> 81.7 (143.6%)	53.7	81.7 TFLOP/s	1.52×	GeForce RTX 2080 Ti · TU102 · 68 SM
`cuBLAS f16/f32 4096³`	64.0	96.3 TFLOP/s	1.50×	GeForce RTX 4070 (AD103) · AD103 · 46 SM
`cuBLAS f16/f32 1024³`	51.9	77.8 TFLOP/s	1.50×	GeForce RTX 4070 Ti · AD104 · 60 SM
`f16/f32 8192³` · README row 8192: 52.8 (92.8% of a 56.9 TF/s peak) -> 77.9 (136.9%)	52.8	77.9 TFLOP/s	1.48×	GeForce RTX 2080 Ti · TU102 · 68 SM
`cuBLAS f16/f32 8192³` · power-limited at 200 W	64.4	93.6 TFLOP/s	1.45×	GeForce RTX 4070 (AD103) · AD103 · 46 SM
`cuBLAS f16/f32 1024³` · not tensor-bound at this shape	49.1	70.1 TFLOP/s	1.43×	GeForce RTX 4070 (AD103) · AD103 · 46 SM
`cuBLAS f16/f32 4096³` · 70 W cap active in most samples, so large shapes are power-limited	15.8	22.5 TFLOP/s	1.42×	GeForce RTX 3050 6GB · GA107 · 18 SM
`cuBLAS f16/f32 8192³`	31.4	44.2 TFLOP/s	1.41×	GeForce RTX 4060 · AD107 · 24 SM
`cuBLAS f16/f32 1024³` · not tensor-bound at this shape	49.3	67.5 TFLOP/s	1.37×	GeForce RTX 4070 SUPER · AD104 · 56 SM
`f16/f32 1024³` · README row 1024: 50.3 (88.4% of a 56.9 TF/s peak) -> 68.3 (120.0%)	50.3	68.3 TFLOP/s	1.36×	GeForce RTX 2080 Ti · TU102 · 68 SM
`cuBLAS f16/f32 8192³` · power-limited at 70 W	16.1	19.7 TFLOP/s	1.22×	GeForce RTX 3050 6GB · GA107 · 18 SM

このセットで最小の比率は GeForce RTX 3050 6GB の 1.22× です。

1.00× の読み方

1.00× の行はアンロック失敗ではありません。その経路が元々制限されておらず、オーバーライドが復元するものがなかったという意味です。自分のカードで測定して、気にしているモードが 1.00× だった場合、アンロックは正しく適用されていて、そのワークロードには効かないだけかもしれません。

cuBLAS FP16 GEMM, FP32 accumulate

実測行

1.00× の読み方

他の測定パス