# NVFP4

NVFP4 kuantizasyonu, bir model yüklenirken tam hassasiyetli doğrusal ağırlıkları NVIDIA'nın 4 bitlik kayan nokta formatına paketler. [NVFP4Config](/docs/transformers/v5.23.0/tr/main_classes/quantization#transformers.NVFP4Config), `in_features` ve `out_features` değerleri 16'ya bölünebilen, uygun sapmasız `torch.nn.Linear` modüllerini, [NVFP4 Hub çekirdeğinden](https://huggingface.co/kernels-community/nvfp4-gemm) bir NVFP4 doğrusal uygulamasıyla değiştirir. Modelin dikkat ve MLP arayüzleri değiştirilmez.

> [!TIP]
> NVFP4, hesaplama yeteneği 10.0 veya daha yeni olan bir Blackwell GPU, uyumlu CUDA destekli PyTorch derlemesi ve [kernels](https://github.com/huggingface/kernels) paketini gerektirir.

`kernels` ve Accelerate ile uyumlu bir sürümünü yükleyin.

```bash
pip install --upgrade accelerate kernels
```

Tek bir CUDA cihazıyla [NVFP4Config](/docs/transformers/v5.23.0/tr/main_classes/quantization#transformers.NVFP4Config) nesnesini [from_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.from_pretrained) fonksiyonuna iletin. Ağırlıklar yüklendikçe kuantize edilir, bu nedenle kaynak kontrol noktası (checkpoint) kayan noktalı (floating-point) ağırlıklar içermelidir.

```py
import torch

from transformers import AutoModelForCausalLM, AutoTokenizer, NVFP4Config

model_id = "meta-llama/Llama-3.2-1B"
quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    dtype=torch.bfloat16,
    device_map="cuda",
    quantization_config=quantization_config,
)

tokenizer = AutoTokenizer.from_pretrained(model_id)
inputs = tokenizer("NVFP4 is", return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=20)
print(tokenizer.decode(output[0], skip_special_tokens=True))
```

Seçili modüllerin orijinal hassasiyetlerinde kalmasını sağlamak için `modules_to_not_convert` kullanın.

```py
quantization_config = NVFP4Config(modules_to_not_convert=["vision", "lm_head"])
```

NVFP4 lineer modülleri `torch.compile` destekler. İlk derlenmiş çağrı, grafik derleme süresini içerdiğinden, üretim verimliliğini ölçmeden önce modeli ısıtın.

## Mevcut kısıtlamalar

- Yalnızca bir CUDA cihazı desteklenir. NVFP4 ölçek metadata'sının parçalama davranışı tanımlanana kadar tensor paralelliği ve çoklu cihaz `device_map` yapılandırmaları reddedilir.
- CPU ve disk offload desteklenmez.
- Önceden kuantize edilmiş NVFP4 checkpoint'leri desteklenmez.
- NVFP4 modelleri şu anda [save_pretrained()](/docs/transformers/v5.23.0/tr/main_classes/model#transformers.PreTrainedModel.save_pretrained) ile serialize edilemez veya eğitilemez.

