Transformers documentation

NVFP4

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

NVFP4

NVFP4 é o formato de ponto flutuante de 4 bits da NVIDIA. Cada bloco de 16 pesos compartilha uma escala FP8, e cada tensor possui uma escala FP32 adicional. O Transformers quantiza os pesos durante o carregamento do modelo e quantiza as ativações em tempo real, de modo que a fase de prefill é executada como uma multiplicação de matrizes W4A4 nos núcleos tensoriais Blackwell e a fase de decode é executada como uma multiplicação de matrizes W4A16. Use-o para executar modelos de 4 bits em uma GPU Blackwell.

A tabela abaixo resume o que o NVFP4 suporta no Transformers.

ConfigNVFP4Config
quant_methodnvfp4
Fluxo de trabalhoQuantize ao carregar
Bits4
HardwareUma GPU CUDA com capacidade de computação 10.0+ (Blackwell)
Salvar❌
Ajuste fino❌
Compilação automática✅

Instale os kernels NVFP4

O Transformers baixa os kernels NVFP4 do repositório kernels-community/nvfp4-gemm no Hub. Instale a biblioteca kernels. O kernel requer um build compatível com as versões do PyTorch e do CUDA.

pip install -U "transformers[kernels]"

Quantize um modelo com NVFP4

Crie um NVFP4Config e passe-o para from_pretrained() com um device_map que coloque o modelo inteiro em uma única GPU CUDA. O checkpoint de origem deve ter pesos em ponto flutuante.

from transformers import AutoModelForCausalLM, NVFP4Config

quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

NVFP4 substitui cada camada torch.nn.Linear que não possui viés e cujo in_features e out_features são ambos divisíveis por 16. Outras camadas lineares mantêm sua precisão original. NVFP4Config não possui parâmetros que alteram a forma como os pesos são quantizados.

Limitações

  • NVFP4 requer uma GPU CUDA com capacidade de computação 10.0 ou posterior. Carregar sem uma GPU CUDA ou em uma GPU mais antiga gera um RuntimeError.
  • O NVFP4 é executado em uma única GPU. Um device_map que abrange várias GPUs, ou paralelismo de tensor, gera um ValueError.
  • O NVFP4 não pode ser descarregado para a CPU ou para o disco. Um device_map que inclua "cpu" ou "disk", ou a ausência de um device_map, gera um ValueError.
  • NVFP4 não consegue carregar checkpoints NVFP4 pré-quantizados. Carregar um deles gera um ValueError.
  • Modelos NVFP4 não podem ser salvos ou ajustados.

Recursos

Update on GitHub