Transformers documentation
NVFP4
NVFP4
NVFP4 é o formato de ponto flutuante de 4 bits da NVIDIA. Cada bloco de 16 pesos compartilha uma escala FP8, e cada tensor possui uma escala FP32 adicional. O Transformers quantiza os pesos durante o carregamento do modelo e quantiza as ativações em tempo real, de modo que a fase de prefill é executada como uma multiplicação de matrizes W4A4 nos núcleos tensoriais Blackwell e a fase de decode é executada como uma multiplicação de matrizes W4A16. Use-o para executar modelos de 4 bits em uma GPU Blackwell.
A tabela abaixo resume o que o NVFP4 suporta no Transformers.
| Config | NVFP4Config |
quant_method | nvfp4 |
| Fluxo de trabalho | Quantize ao carregar |
| Bits | 4 |
| Hardware | Uma GPU CUDA com capacidade de computação 10.0+ (Blackwell) |
| Salvar | ❌ |
| Ajuste fino | ❌ |
| Compilação automática | ✅ |
Instale os kernels NVFP4
O Transformers baixa os kernels NVFP4 do repositório kernels-community/nvfp4-gemm no Hub. Instale a biblioteca kernels. O kernel requer um build compatível com as versões do PyTorch e do CUDA.
pip install -U "transformers[kernels]"Quantize um modelo com NVFP4
Crie um NVFP4Config e passe-o para from_pretrained() com um device_map que coloque o modelo inteiro em uma única GPU CUDA. O checkpoint de origem deve ter pesos em ponto flutuante.
from transformers import AutoModelForCausalLM, NVFP4Config
quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)NVFP4 substitui cada camada torch.nn.Linear que não possui viés e cujo in_features e out_features são ambos divisíveis por 16. Outras camadas lineares mantêm sua precisão original. NVFP4Config não possui parâmetros que alteram a forma como os pesos são quantizados.
Limitações
- NVFP4 requer uma GPU CUDA com capacidade de computação 10.0 ou posterior. Carregar sem uma GPU CUDA ou em uma GPU mais antiga gera um
RuntimeError. - O NVFP4 é executado em uma única GPU. Um
device_mapque abrange várias GPUs, ou paralelismo de tensor, gera umValueError. - O NVFP4 não pode ser descarregado para a CPU ou para o disco. Um
device_mapque inclua"cpu"ou"disk", ou a ausência de umdevice_map, gera umValueError. - NVFP4 não consegue carregar checkpoints NVFP4 pré-quantizados. Carregar um deles gera um
ValueError. - Modelos NVFP4 não podem ser salvos ou ajustados.
Recursos
- post de blog Apresentando o NVFP4 para inferência de baixa precisão eficiente e precisa
- Kernel do Hub kernels-community/nvfp4-gemm