ベンチマーク: 純正 vs アンロック後

上流が公開した同一カードの純正 vs アンロック後の実測すべて。変化しなかったテンソルモード、1.0029× の FP8 CUTLASS の組、Turing フォークの RTX 2080 Ti cuBLAS 表も含みます。

測定方法

RTX 4090 の行は、レジスタ常駐の MMA 発行レートループを 20,000 イテレーション、各モード 3 回実行し、最良値を報告したものです。RTX 4070 Ti SUPER の行は、フォークの tensor-modes-comparison.json によるもので、66 SM、ドライバ 580.178.04、240 W 上限、20,000 イテレーション、3 回実行、8 本の独立チェーンすべてに全 1 の入力を使用しています。FP8 の組は、sm_89 カーネル 1 本に対する別個の CUTLASS 4.8.1 プロファイラ実行です。RTX 2080 Ti の行は Turing フォークの README にある表です。cuBLAS の FP16 GEMM（FP32 アキュムレート）、250 W、ドライバ 575.51.03、4 つの M.N.K サイズで、Dell の 22 GB カードで測定されています。README は TFLOPS をそのまま示し、括弧内に 56.9 TF/s ピークに対する割合を添えています（そのピークは NVIDIA Turing ホワイトペーパーの値）。本ページはその TFLOPS をそのまま引用しています。README に反復回数の記載がないため、ここでも表示しません。

GeForce RTX 4090

AD102 · 128 SM · ドライバ unrecorded in the evidence file

モード	純正	アンロック後	向上
`f16/f16`	325.70 TF/s	331.60 TF/s	1.02×
`f16/f32`	165.60 TF/s	330.80 TF/s	2.00×
`bf16/f32`	165.50 TF/s	330.30 TF/s	2.00×
`s8/s32`	661.60 TF/s	659.50 TF/s	1.00×
`dp4a`	164.50 TF/s	164.10 TF/s	1.00×
`ffma`	79.10 TF/s	79.10 TF/s	1.00×

f16/f16: unlocked values are the 40,000-iteration run; f16/f16 was mostly unaffected, unlike f16/f32
s8/s32: already at full rate before the unlock
ffma: FP32 was never rate-limited

この実行のソースファイル

GeForce RTX 4070 Ti SUPER

AD103 · 66 SM · ドライバ 580.178.04

モード	純正	アンロック後	向上
`f16/f32`	94.96 TFLOP/s	188.97 TFLOP/s	1.99×
`tf32`	47.49 TFLOP/s	94.51 TFLOP/s	1.99×
`u4/s32`	754.81 TOP/s	754.68 TOP/s	1.00×

u4/s32: integer path, unaffected

この実行のソースファイル

GeForce RTX 2080 Ti

TU102 · 68 SM · ドライバ 575.51.03

モード	純正	アンロック後	向上
`f16/f32 1024³`	50.30 TF/s	68.30 TF/s	1.36×
`f16/f32 2048³`	55.70 TF/s	91.40 TF/s	1.64×
`f16/f32 4096³`	53.70 TF/s	81.70 TF/s	1.52×
`f16/f32 8192³`	52.80 TF/s	77.90 TF/s	1.48×

f16/f32 1024³: README row 1024: 50.3 (88.4% of a 56.9 TF/s peak) -> 68.3 (120.0%)
f16/f32 2048³: README row 2048: 55.7 (97.9% of a 56.9 TF/s peak) -> 91.4 (160.6%)
f16/f32 4096³: README row 4096: 53.7 (94.4% of a 56.9 TF/s peak) -> 81.7 (143.6%)
f16/f32 8192³: README row 8192: 52.8 (92.8% of a 56.9 TF/s peak) -> 77.9 (136.9%)

この実行のソースファイル

動かなかった FP8 の組

フォークは 4070 Ti SUPER 上で、同じ CUTLASS プロファイラバイナリ、カーネル 1 本、ウォームアップ 10 回、プロファイリング 20 回、デバイス参照による検証必須という条件で、整合した E4M3 FP8 入力・FP32 累算の 4096³ GEMM を測定しました。両方の実行とも参照チェックを通過しています。

実行	ms	GFLOP/s
純正	2.31724	59325.8
アンロック後	2.31066	59495.0

RTX 4070 Ti SUPER · cutlass_tensorop_s16832gemm_e4m3_128x128_64x3_tn_align16 · 1.0029×

1.00× という比の読み方

1.00× の行はアンロック失敗ではありません。その経路が元々制限されておらず、オーバーライドが復元するものがなかったという意味です。自分のカードで測定して、気にしているモードが 1.00× だった場合、アンロックは正しく適用されていて、そのワークロードには効かないだけかもしれません。