INT8 → INT32 tensor rate

INT8 multiply with an INT32 accumulator, the quantised inference path.

測定方法

Register-resident MMA issue rate: all-one inputs, eight independent accumulator chains per warp, best of three timed runs.

SM speed-select ヒューズの対象か: いいえ

実測行

8 枚のカードにわたる 8 行。0 行が 5% 超の向上、8 行は変化なし。最大の向上は GeForce RTX 4070 SUPER の 1.00× です。

モード	純正	アンロック後	向上	カード
`s8/s32` · control mode	306.9	307.3 TOP/s	1.00×	GeForce RTX 4070 SUPER · AD104 · 56 SM
`s8/s32` · control mode	267.4	267.4 TOP/s	1.00×	GeForce RTX 4070 (Gigabyte) · AD104 · 46 SM
`s8/s32` · control mode	338.8	338.0 TOP/s	1.00×	GeForce RTX 4070 Ti · AD104 · 60 SM
`s8/s32` · already at full rate before the unlock	661.6	659.5 TOP/s	1.00×	GeForce RTX 4090 · AD102 · 128 SM
`s8/s32` · control mode, already at full rate	427.1	425.7 TOP/s	1.00×	GeForce RTX 4080 · AD103 · 76 SM
`s8/s32` · control mode	72.8	72.6 TOP/s	1.00×	GeForce RTX 3050 6GB · GA107 · 18 SM
`s8/s32` · control mode	418.9	417.0 TOP/s	0.99×	GeForce RTX 4080 SUPER · AD103 · 80 SM
`s8/s32` · control mode	265.1	263.7 TOP/s	0.99×	GeForce RTX 4070 (AD103) · AD103 · 46 SM

このセットで最小の比率は GeForce RTX 4070 (AD103) の 0.99× です。

1.00× の行はアンロック失敗ではありません。その経路が元々制限されておらず、オーバーライドが復元するものがなかったという意味です。自分のカードで測定して、気にしているモードが 1.00× だった場合、アンロックは正しく適用されていて、そのワークロードには効かないだけかもしれません。