Transformers documentation
NVFP4
NVFP4
NVFP4 هو تنسيق النقطة العائمة بدقة 4 بت من NVIDIA. يتشارك كل كتلة من 16 وزناً مقياس FP8، ويحمل كل متجه (Tensor) مقياس FP32 فوق ذلك. يقوم Transformers بتكميم الأوزان أثناء تحميل النموذج، ويكمّم التنشيطات (Activations) على الفور، بحيث يعمل التمهيد (Prefill) كعملية ضرب مصفوفات W4A4 على نوى Blackwell المصفوفية، بينما يعمل فك الترميز (Decode) كعملية ضرب مصفوفات W4A16. استخدمه لتشغيل نماذج بدقة 4 بت على وحدة معالجة رسومية من Blackwell.
تلخص الجدول أدناه ما يدعمه NVFP4 في Transformers.
| إعداد | NVFP4Config |
quant_method | nvfp4 |
| سير العمل | Quantize while loading |
| بت | 4 |
| الأجهزة | وحدة معالجة رسومات CUDA واحدة بقدرات حساب 10.0+ (Blackwell) |
| حفظ | ❌ |
| ضبط | ❌ |
| التجميع التلقائي | ✅ |
تثبيت نواة NVFP4
تنزّل مكتبة Transformers نواة NVFP4 من مستودع kernels-community/nvfp4-gemm على Hub. ثبّت مكتبة kernels. تحتاج النواة إلى بناء يتوافق مع إصدارات PyTorch وCUDA لديك.
pip install -U "transformers[kernels]"كمّ نموذج باستخدام NVFP4
أنشئ NVFP4Config وقم بتمريره إلى from_pretrained() مع device_map يضع النموذج بأكمله على وحدة معالجة رسومية CUDA واحدة. يجب أن تحتوي نقطة الفحص المصدرية على أوزان من نوع الفاصلة العائمة.
from transformers import AutoModelForCausalLM, NVFP4Config
quantization_config = NVFP4Config()
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-8B",
quantization_config=quantization_config,
device_map="cuda",
)يستبدل NVFP4 كل طبقة torch.nn.Linear التي لا تحتوي على انحياز (bias) والتي تكون قيمتا in_features وout_features فيها قابلتين للقسمة على 16. وتحتفظ الطبقات الخطية الأخرى بدقة الأصلية. ولا يحتوي NVFP4Config على أي معاملات تُغيّر طريقة تكميم الأوزان.
القيود
- يتطلب NVFP4 معالج CUDA بقدرة حوسبة 10.0 أو أحدث. يؤدي التحميل دون معالج CUDA أو على معالج أقدم إلى حدوث
RuntimeError. - يعمل NVFP4 على وحدة معالجة رسومية واحدة. يؤدي استخدام
device_mapيمتد عبر عدة وحدات معالجة رسومية، أو التوازي على مستوى الموترات، إلى حدوثValueError. - لا يمكن لنموذج NVFP4 تفريغ البيانات إلى وحدة المعالجة المركزية (CPU) أو القرص. يؤدي استخدام
device_mapيتضمن"cpu"أو"disk"، أو عدم تحديدdevice_mapعلى الإطلاق، إلى ظهور خطأValueError. - لا يمكن لـ NVFP4 تحميل نقاط التفتيش NVFP4 المُكمّاة مسبقًا. يؤدي تحميلها إلى ظهور
ValueError. - لا يمكن حفظ نماذج NVFP4 أو ضبطها بدقة.
الموارد
- منشور المدونة تقديم NVFP4 للاستدلال منخفض الدقة بكفاءة ودقة
- نواة kernels-community/nvfp4-gemm