Transformers documentation

GPTQ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

GPTQ

GPTQはモデルを1レイヤーずつ量子化し、小さなキャリブレーションデータセットを使用して残りの重みを更新することで、各レイヤーの丸め誤差を補償します。TransformersはOptimumとGPT-QModelライブラリを通じてGPTQを実行します。モデルの読み込み中にキャリブレーションを伴って2ビットから8ビットに量子化したり、Hub上の多数のGPTQチェックポイントのいずれかをロードしたりするために使用できます。

以下の表は、TransformersにおけるGPTQのサポート内容をまとめます。

設定GPTQConfig
quant_methodgptq
ワークフローキャリブレーション付きで読み込み時に量子化
ビット2, 3, 4, 8
ハードウェアCUDA、XPU、CPU
保存✅
ファインチューニング✅
自動コンパイル❌

GPTQのインストール

Optimum 1.24.0 以降と GPT-QModel 1.4.3 以降をインストールしてください。

pip install -U "optimum>=1.24.0"
pip install -U "gptqmodel>=1.4.3" --no-build-isolation

GPTQでモデルを量子化

dataset を指定して GPTQConfig を作成し、from_pretrained() に渡します。重みの読み込み後に量子化が行われます。GPTQ では fp16 が推奨されるため、以下の例では dtype=torch.float16 を設定しています。

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GPTQConfig

tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
quantization_config = GPTQConfig(bits=4, dataset="c4", tokenizer=tokenizer)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=quantization_config,
    dtype=torch.float16,
    device_map="auto",
)

dataset はモデルの量子化に必要です。GPTQ論文のデータセット名である"wikitext2"、"c4"、"c4-new"、または文字列のリストを渡します。tokenizer がデータセットを準備します。渡さない場合、GPTQはモデルのリポジトリからトークナイザーを読み込みます。

Calibration はモデルをブロック単位で実行するため、読み込みよりもはるかに時間がかかります。モデルを量子化する前に、Hub に既存の GPTQ チェックポイントがあるか確認してください。

GPTQチェックポイントを読み込む

GPTQConfigなしで、チェックポイントをfrom_pretrained()に渡します。Transformersは、チェックポイントのconfigから量子化設定を読み取ります。

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
    device_map="auto",
)

カーネルまたはバッファサイズを変更するには、新しいbackendまたはmax_input_lengthを指定したGPTQConfigを渡します。Transformersはこれら2つの読み込み属性のみを上書きし、チェックポイントのその他の設定は保持します。

GPTQを設定

これらのGPTQConfigパラメータは、重みの量子化方法を変更します。その他の詳細については、GPTQConfigを参照してください。

パラメータデフォルト効果
bits必須重みあたりのビット数。2、3、4、8をサポートします。
group_size128スケールを共有する重みの数。-1は、列ごとに1つのスケールを使用します。
damp_percent0.1数値的安定性のために平均ヘッセ行列の対角成分に追加される割合。0から1の間でなければなりません。
desc_actFalseアクティベーションサイズが大きい順に列を量子化します(act-order)。精度が向上する場合がありますが、推論が遅くなる可能性があります。Trueに設定すると、act_group_awareがオフになります。
symTrue対称量子化を使用します。非対称量子化の場合はFalseに設定してください。
modules_in_block_to_quantizeNoneブロックごとに量子化対象とするモジュール名のリストを、順序通りに指定します。リストに含まれていないLinear層は量子化されません。デフォルトでは、ブロック内のすべてのLinear層が量子化されます。Optimum 1.15.0以降が必要です。

カーネルバックエンドを選択

GPT-QModelは、量子化されたレイヤーを複数のカーネルのいずれかを通じて実行します。backendパラメータでカーネルを選択し、デフォルトは"auto"です。これにより、GPT-QModelがハードウェアとチェックポイントに最適なカーネルを選択します。以下の例では、ExLlamaV2カーネルでチェックポイントを読み込みます。

from gptqmodel import BACKEND
from transformers import AutoModelForCausalLM, GPTQConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen2.5-1.5B-Instruct-GPTQ-Int4",
    quantization_config=GPTQConfig(bits=4, backend=BACKEND.EXLLAMA_V2),
    device_map="auto",
)

利用可能な値については、GPT-QModelのバックエンド一覧を参照してください。

制限事項

  • GPTQはテキストモデルのみをサポートしています。input_ids以外の入力がメインとなるモデルを読み込むと、RuntimeErrorが発生します。
  • device_mapにディスクオフロードを設定したモデルを量子化すると、ValueErrorが発生します。
  • GPT-QModelがインストールされていない状態で読み込むと、ImportErrorが発生します。AutoGPTQはサポートされていません。
  • device_mapを指定しないと、モデルはCPUに読み込まれます。

リソース

Update on GitHub