FP16 → FP32 tensor rate

FP16 multiply with an FP32 accumulator — the shape most inference and attention kernels use.

Como foram medidas

Register-resident mma.sync issue rate: all-one inputs, eight independent accumulator chains per warp, 20,000 iterations and three timed repetitions, best of three reported.

Sob o fusível SM speed-select: sim

Linhas medidas

11 linhas em 11 placas. 11 subiram mais de 5 % e 0 não; o maior ganho é GeForce RTX 4070 SUPER com 2.00×.

ModoOriginalDesbloqueadoGanhoPlaca
f16/f3276.7153.6 TF/s2.00×GeForce RTX 4070 SUPER · AD104 · 56 SMs
f16/f32107.0213.7 TF/s2.00×GeForce RTX 4080 · AD103 · 76 SMs
f16/f32104.8209.7 TF/s2.00×GeForce RTX 4080 SUPER · AD103 · 80 SMs
f16/f32 · 26.48 TF/s (209.02 ms) -> 52.97 TF/s (104.51 ms)26.553.0 TF/s2.00×GeForce RTX 4050 Laptop GPU · AD107 · 20 SMs
f16/f3218.336.6 TF/s2.00×GeForce RTX 3050 6GB · GA107 · 18 SMs
f16/f32165.6330.8 TF/s2.00×GeForce RTX 4090 · AD102 · 128 SMs
f16/f3284.8169.4 TF/s2.00×GeForce RTX 4070 Ti · AD104 · 60 SMs
f16/f3267.0133.8 TF/s2.00×GeForce RTX 4070 (Gigabyte) · AD104 · 46 SMs
f16/f3266.3132.2 TF/s1.99×GeForce RTX 4070 (AD103) · AD103 · 46 SMs
f16/f3295.0189.0 TF/s1.99×GeForce RTX 4070 Ti SUPER · AD103 · 66 SMs
f16/f3246.492.3 TF/s1.99×GeForce RTX 4060 Ti 16GB · AD106 · 34 SMs

O menor rácio deste conjunto é GeForce RTX 4060 Ti 16GB com 1.99×.

Como ler um rácio de 1,00×

Uma linha de 1,00× não é um desbloqueio falho. Ela diz que aquele caminho específico nunca foi limitado, então a substituição não tinha nada a restaurar. Se você medir sua própria placa e ver 1,00× no modo que lhe importa, o desbloqueio pode ter sido aplicado corretamente e simplesmente não ajudar aquela carga de trabalho.

Outros caminhos de medição