Transformers documentation

NVFP4

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

NVFP4

NVFP4 هو تنسيق النقطة العائمة بدقة 4 بت من NVIDIA. يتشارك كل كتلة من 16 وزناً مقياس FP8، ويحمل كل متجه (Tensor) مقياس FP32 فوق ذلك. يقوم Transformers بتكميم الأوزان أثناء تحميل النموذج، ويكمّم التنشيطات (Activations) على الفور، بحيث يعمل التمهيد (Prefill) كعملية ضرب مصفوفات W4A4 على نوى Blackwell المصفوفية، بينما يعمل فك الترميز (Decode) كعملية ضرب مصفوفات W4A16. استخدمه لتشغيل نماذج بدقة 4 بت على وحدة معالجة رسومية من Blackwell.

تلخص الجدول أدناه ما يدعمه NVFP4 في Transformers.

إعدادNVFP4Config
quant_methodnvfp4
سير العملQuantize while loading
بت4
الأجهزةوحدة معالجة رسومات CUDA واحدة بقدرات حساب 10.0+ (Blackwell)
حفظ❌
ضبط❌
التجميع التلقائي✅

تثبيت نواة NVFP4

تنزّل مكتبة Transformers نواة NVFP4 من مستودع kernels-community/nvfp4-gemm على Hub. ثبّت مكتبة kernels. تحتاج النواة إلى بناء يتوافق مع إصدارات PyTorch وCUDA لديك.

pip install -U "transformers[kernels]"

كمّ نموذج باستخدام NVFP4

أنشئ NVFP4Config وقم بتمريره إلى from_pretrained() مع device_map يضع النموذج بأكمله على وحدة معالجة رسومية CUDA واحدة. يجب أن تحتوي نقطة الفحص المصدرية على أوزان من نوع الفاصلة العائمة.

from transformers import AutoModelForCausalLM, NVFP4Config

quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-8B",
    quantization_config=quantization_config,
    device_map="cuda",
)

يستبدل NVFP4 كل طبقة torch.nn.Linear التي لا تحتوي على انحياز (bias) والتي تكون قيمتا in_features وout_features فيها قابلتين للقسمة على 16. وتحتفظ الطبقات الخطية الأخرى بدقة الأصلية. ولا يحتوي NVFP4Config على أي معاملات تُغيّر طريقة تكميم الأوزان.

القيود

  • يتطلب NVFP4 معالج CUDA بقدرة حوسبة 10.0 أو أحدث. يؤدي التحميل دون معالج CUDA أو على معالج أقدم إلى حدوث RuntimeError.
  • يعمل NVFP4 على وحدة معالجة رسومية واحدة. يؤدي استخدام device_map يمتد عبر عدة وحدات معالجة رسومية، أو التوازي على مستوى الموترات، إلى حدوث ValueError.
  • لا يمكن لنموذج NVFP4 تفريغ البيانات إلى وحدة المعالجة المركزية (CPU) أو القرص. يؤدي استخدام device_map يتضمن "cpu" أو "disk"، أو عدم تحديد device_map على الإطلاق، إلى ظهور خطأ ValueError.
  • لا يمكن لـ NVFP4 تحميل نقاط التفتيش NVFP4 المُكمّاة مسبقًا. يؤدي تحميلها إلى ظهور ValueError.
  • لا يمكن حفظ نماذج NVFP4 أو ضبطها بدقة.

الموارد

Update on GitHub