Benchmarks : origine contre débloqué

Toutes les mesures avant/après sur carte identique publiées en amont, y compris les modes tensoriels inchangés, la paire FP8 CUTLASS à 1,0029× et le tableau cuBLAS RTX 2080 Ti du fork Turing.

Comment elles ont été prises

Les lignes RTX 4090 proviennent d'une boucle de taux d'émission MMA résidant en registres, exécutée sur 20 000 itérations et trois répétitions par mode, avec le meilleur des trois rapporté. Les lignes RTX 4070 Ti SUPER proviennent du tensor-modes-comparison.json du fork : 66 SM, pilote 580.178.04, limite 240 W, 20 000 itérations et trois répétitions, avec des entrées tout-à-un sur huit chaînes indépendantes. La paire FP8 est une exécution séparée du profileur CUTLASS 4.8.1 sur un noyau sm_89. Les lignes RTX 2080 Ti correspondent au tableau du README du fork Turing : GEMM cuBLAS FP16 avec accumulation FP32, 250 W, pilote 575.51.03, quatre tailles M.N.K, mesurées sur une carte Dell de 22 Go. Le README donne les TFLOPS directement et indique entre parenthèses le pourcentage d'un pic de 56,9 TF/s, repris du livre blanc NVIDIA Turing ; ces TFLOPS sont cités ici tels quels. L'amont ne donne aucun nombre d'itérations, donc aucun n'est affiché.

GeForce RTX 4090

AD102 · 128 SM · pilote unrecorded in the evidence file

Mode	Origine	Débloqué	Gain
`f16/f16`	325.70 TF/s	331.60 TF/s	1.02×
`f16/f32`	165.60 TF/s	330.80 TF/s	2.00×
`bf16/f32`	165.50 TF/s	330.30 TF/s	2.00×
`s8/s32`	661.60 TF/s	659.50 TF/s	1.00×
`dp4a`	164.50 TF/s	164.10 TF/s	1.00×
`ffma`	79.10 TF/s	79.10 TF/s	1.00×

f16/f16: unlocked values are the 40,000-iteration run; f16/f16 was mostly unaffected, unlike f16/f32
s8/s32: already at full rate before the unlock
ffma: FP32 was never rate-limited

Fichiers sources de cette exécution

GeForce RTX 4070 Ti SUPER

AD103 · 66 SM · pilote 580.178.04

Mode	Origine	Débloqué	Gain
`f16/f32`	94.96 TFLOP/s	188.97 TFLOP/s	1.99×
`tf32`	47.49 TFLOP/s	94.51 TFLOP/s	1.99×
`u4/s32`	754.81 TOP/s	754.68 TOP/s	1.00×

u4/s32: integer path, unaffected

Fichiers sources de cette exécution

GeForce RTX 2080 Ti

TU102 · 68 SM · pilote 575.51.03

Mode	Origine	Débloqué	Gain
`f16/f32 1024³`	50.30 TF/s	68.30 TF/s	1.36×
`f16/f32 2048³`	55.70 TF/s	91.40 TF/s	1.64×
`f16/f32 4096³`	53.70 TF/s	81.70 TF/s	1.52×
`f16/f32 8192³`	52.80 TF/s	77.90 TF/s	1.48×

f16/f32 1024³: README row 1024: 50.3 (88.4% of a 56.9 TF/s peak) -> 68.3 (120.0%)
f16/f32 2048³: README row 2048: 55.7 (97.9% of a 56.9 TF/s peak) -> 91.4 (160.6%)
f16/f32 4096³: README row 4096: 53.7 (94.4% of a 56.9 TF/s peak) -> 81.7 (143.6%)
f16/f32 8192³: README row 8192: 52.8 (92.8% of a 56.9 TF/s peak) -> 77.9 (136.9%)

Fichiers sources de cette exécution

La paire FP8 qui n'a pas bougé

Le fork a mesuré un GEMM 4096³ en entrée E4M3 FP8 appariée, accumulation FP32, sur la 4070 Ti SUPER avec le même binaire de profileur CUTLASS, un seul noyau, 10 échauffements et 20 itérations de profilage, avec vérification obligatoire contre la référence de l'appareil. Les deux exécutions ont passé leurs contrôles de référence.

Exécution	ms	GFLOP/s
origine	2.31724	59325.8
débloqué	2.31066	59495.0

RTX 4070 Ti SUPER · cutlass_tensorop_s16832gemm_e4m3_128x128_64x3_tn_align16 · 1.0029×

Comment lire un ratio de 1,00×

Une ligne à 1,00× n'est pas un déblocage raté. Elle indique que ce chemin précis n'a jamais été bridé, donc la dérogation n'avait rien à restaurer. Si vous mesurez votre propre carte et obtenez 1,00× sur le mode qui vous intéresse, le déblocage a peut-être bien fonctionné et n'aide simplement pas cette charge de travail.