FP16 → FP32 tensor rate

FP16 multiply with an FP32 accumulator — the shape most inference and attention kernels use.

So wurden sie gemessen

Register-resident mma.sync issue rate: all-one inputs, eight independent accumulator chains per warp, 20,000 iterations and three timed repetitions, best of three reported.

Unter der Kontrolle der SM-Speed-Select-Sicherung: ja

Gemessene Zeilen

11 Zeilen über 11 Karten. 11 verbesserten sich um mehr als 5 %, 0 nicht; der größte Gewinn ist GeForce RTX 4070 SUPER mit 2.00×.

ModusOriginalUnlockGewinnKarte
f16/f3276.7153.6 TF/s2.00×GeForce RTX 4070 SUPER · AD104 · 56 SMs
f16/f32107.0213.7 TF/s2.00×GeForce RTX 4080 · AD103 · 76 SMs
f16/f32104.8209.7 TF/s2.00×GeForce RTX 4080 SUPER · AD103 · 80 SMs
f16/f32 · 26.48 TF/s (209.02 ms) -> 52.97 TF/s (104.51 ms)26.553.0 TF/s2.00×GeForce RTX 4050 Laptop GPU · AD107 · 20 SMs
f16/f3218.336.6 TF/s2.00×GeForce RTX 3050 6GB · GA107 · 18 SMs
f16/f32165.6330.8 TF/s2.00×GeForce RTX 4090 · AD102 · 128 SMs
f16/f3284.8169.4 TF/s2.00×GeForce RTX 4070 Ti · AD104 · 60 SMs
f16/f3267.0133.8 TF/s2.00×GeForce RTX 4070 (Gigabyte) · AD104 · 46 SMs
f16/f3266.3132.2 TF/s1.99×GeForce RTX 4070 (AD103) · AD103 · 46 SMs
f16/f3295.0189.0 TF/s1.99×GeForce RTX 4070 Ti SUPER · AD103 · 66 SMs
f16/f3246.492.3 TF/s1.99×GeForce RTX 4060 Ti 16GB · AD106 · 34 SMs

Das kleinste Verhältnis in diesem Satz ist GeForce RTX 4060 Ti 16GB mit 1.99×.

Wie ein Verhältnis von 1,00× zu lesen ist

Eine 1,00×-Zeile ist kein fehlgeschlagenes Unlock. Sie sagt, dass dieser Pfad nie gedrosselt war, das Override also nichts wiederherzustellen hatte. Wenn du deine eigene Karte benchmarkst und bei dem Modus, der dir wichtig ist, 1,00× siehst, kann das Unlock durchaus korrekt gegriffen haben und dieser Workload profitiert einfach nicht.

Andere Messpfade