INT8 → INT32 tensor rate
INT8 multiply with an INT32 accumulator, the quantised inference path.
数据怎么来的
Register-resident MMA issue rate: all-one inputs, eight independent accumulator chains per warp, best of three timed runs.
实测行
共 8 行,覆盖 8 张卡。0 行提升超过 5%,8 行没有变化;提升最大的是 GeForce RTX 4070 SUPER,为 1.00×。
| 模式 | 解锁前 | 解锁后 | 提升 | 显卡 |
|---|---|---|---|---|
s8/s32 | 306.9 | 307.3 TOP/s | 1.00× | GeForce RTX 4070 SUPER |
s8/s32 | 267.4 | 267.4 TOP/s | 1.00× | GeForce RTX 4070 (Gigabyte) |
s8/s32 | 338.8 | 338.0 TOP/s | 1.00× | GeForce RTX 4070 Ti |
s8/s32 | 661.6 | 659.5 TOP/s | 1.00× | GeForce RTX 4090 |
s8/s32 | 427.1 | 425.7 TOP/s | 1.00× | GeForce RTX 4080 |
s8/s32 | 72.8 | 72.6 TOP/s | 1.00× | GeForce RTX 3050 6GB |
s8/s32 | 418.9 | 417.0 TOP/s | 0.99× | GeForce RTX 4080 SUPER |
s8/s32 | 265.1 | 263.7 TOP/s | 0.99× | GeForce RTX 4070 (AD103) |
1.00× 该怎么读
1.00× 不代表解锁失败。它说明那条路径本来就没有被限速,覆盖没有可恢复的东西。如果你在自己的卡上测出你关心的模式是 1.00×,解锁很可能确实生效了,只是对这个负载没有帮助。