Transformers documentation
Apple Silicon
Apple Silicon
Chip Apple Silicon (seri M) menjalankan PyTorch melalui backend Metal Performance Shaders (MPS), dengan string perangkat mps. CPU dan GPU berbagi satu pool memori terpadu.
MPS bekerja dengan instalasi torch standar. Rilis PyTorch saat ini untuk Apple Silicon memerlukan macOS 14 atau lebih baru. Pastikan PyTorch dibangun dengan MPS dan dapat melihat GPU.
import torch
print(torch.backends.mps.is_available())Ia mencetak True ketika MPS siap digunakan.
Pilih backend perhatian
Atur backend perhatian dengan attn_implementation saat Anda memuat model, dan ini berlaku untuk inferensi maupun pelatihan. Model menggunakan SDPA secara default. Dengan PyTorch 2.13 atau lebih baru, SDPA pada MPS menangani grouped-query attention secara langsung, tanpa perlu mengulang kepala key dan value terlebih dahulu.
Gunakan SDPA untuk pelatihan.
- kernels-community/metal-flash-sdpa hanya mendukung input dengan panjang variabel, seperti urutan yang dikemas (packed sequences) atau batch yang attention mask-nya mengandung padding. Batch tanpa padding, seperti satu prompt tunggal, akan memicu error. Kernel ini tidak menghitung gradien untuk proyeksi query, key, dan value. gpt-oss beralih ke kernel ini secara otomatis ketika Anda meminta flash attention pada MPS.
- ggml-org/ggml-attn adalah default untuk
transformers servedan untuk model GGUF ketikakernelsterinstal.
Instal ekstra kernels untuk menggunakan salah satu kernel. Ini menginstal versi yang didukung oleh Transformers.
pip install "transformers[kernels]"Jalankan inferensi
Lewati device_map="mps" ke from_pretrained(). pipeline() memilih MPS secara otomatis ketika Anda tidak melewatkan device.
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-0.6B", device_map="mps")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
inputs = tokenizer("Apple Silicon is", return_tensors="pt")
output = model.generate(**inputs, max_new_tokens=50, do_sample=False)
print(tokenizer.decode(output[0], skip_special_tokens=True))Dengan device_map yang menargetkan MPS, Transformers memuat bobot safetensors langsung ke perangkat MPS.
Layani model
transformers serve memulai server yang kompatibel dengan OpenAI. Opsi --device secara default adalah auto, sehingga model dimuat di MPS tanpa flag tambahan. Instal dependensi serving dan mulai server.
pip install "transformers[serving]"
transformers serveServer memuat model pada saat pertama kali sebuah permintaan menyebutkannya. Kirim permintaan chat ke http://localhost:8000.
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen2.5-0.5B-Instruct",
"messages": [{"role": "user", "content": "What is Apple Silicon? Answer in one sentence."}],
"max_tokens": 64,
"temperature": 0
}'{"id":"b48e84c1-b3c6-484d-b781-4c9ce8022dff","choices":[{"finish_reason":"stop","index":0,"message":{"content":"Apple Silicon is a type of processor technology developed and manufactured by Apple Inc., designed to offer faster performance and lower power consumption compared to traditional silicon-based processors. This technology allows for the creation of more efficient and energy-efficient devices, such as high-performance computers, smartphones, and other Apple products.","role":"assistant"}}],"created":1791843839,"model":"Qwen/Qwen2.5-0.5B-Instruct@main","object":"chat.completion","usage":{"completion_tokens":59,"prompt_tokens":39,"total_tokens":98}}Saat kernels terpasang, transformers serve secara default menggunakan ggml-org/ggml-attn pada MPS dan mencatat peringatan saat startup. Berikan --attn-implementation sdpa untuk menggunakan SDPA sebagai gantinya.
Kuantisasi model
Bobot model berbagi memori terpadu dengan macOS dan semua hal lain yang berjalan di Mac, sehingga mengkuantisasi bobot tersebut memungkinkan model yang lebih besar muat untuk inferensi atau fine-tuning. Metal mengkuantisasi model saat Anda memuatnya, sedangkan GGUF menjalankan checkpoint yang sudah terkuantisasi. Keduanya hanya untuk inferensi.
- Metal melakukan kuantisasi ke 2, 4, atau 8 bit dengan kernel Metal dari Hub.
- GGUF menjaga bobot tetap terpadat di MPS ketika kernel
ggml-org/ggml-quantizationtersedia. - bitsandbytes melakukan kuantisasi ke 4 bit dengan kernel MPS native.
Untuk melakukan fine-tuning pada model yang tidak muat di memori, muat model tersebut dalam 4-bit dengan bitsandbytes dan latih adapter LoRA dengan PEFT.
Latih dengan Trainer
TrainingArguments mendeteksi MPS dan mengatur perangkat ke mps, sehingga Trainer melatih di atasnya tanpa pengaturan perangkat apa pun. Baik bf16 maupun fp16 presisi campuran berfungsi. Muat model dengan perhatian SDPA bawaan, karena metal-flash-sdpa tidak menghitung gradien untuk proyeksi perhatian.
from transformers import TrainingArguments
training_args = TrainingArguments(
output_dir="./outputs",
bf16=True,
)
print(training_args.device)Ia mencetak mps ketika Trainer akan melatih pada GPU.
Pada macOS, Python memulai proses worker dengan spawn secara default, yang mengimpor ulang skrip Anda dan memerlukan dataset yang dapat di-pickle serta collate_fn. Ketika dataloader_num_workers lebih besar dari 1, TrainingArguments mengatur dataloader_multiprocessing_context="fork" pada MPS, sehingga worker dimulai dari salinan proses pelatihan. Atur menjadi "spawn" jika sumber data tidak aman untuk fork.
Batasi pertumbuhan cache graf
MPS mengompilasi kernel Metal untuk setiap bentuk tensor yang dilihat dan menyimpannya dalam cache graf yang tidak pernah dihapus. Pelatihan dengan input berpanjang variabel menambahkan kernel untuk setiap bentuk baru dan dapat kehabisan memori terpadu.
Kurangi jumlah bentuk dengan melakukan padding setiap batch menjadi kelipatan panjang tetap menggunakan argumen pad_to_multiple_of dari DataCollatorWithPadding.
from transformers import AutoTokenizer, DataCollatorWithPadding
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen3-0.6B")
data_collator = DataCollatorWithPadding(tokenizer, pad_to_multiple_of=64)Lewatkannya ke Trainer dengan data_collator=data_collator.
Keterbatasan
device_map="auto"tidak dapat meng-offload lapisan ke CPU, karena MPS dan CPU berbagi memori yang sama. Overflow akan dialihkan ke disk.- Checkpoint FP8 compressed-tensors dapat dimuat di MPS, tetapi bobotnya akan didekompresi oleh forward pass pertama, sehingga tidak mengurangi memori selama inferensi.
- Tensor parallelism tidak didukung karena Mac hanya memiliki satu perangkat.
- Beberapa operasi PyTorch belum memiliki implementasi MPS. Atur
PYTORCH_ENABLE_MPS_FALLBACK=1untuk menjalankannya di CPU alih-alih memicu error.
Langkah selanjutnya
- Baca catatan backend MPS PyTorch untuk operasi yang didukung dan masalah yang diketahui.
- Baca panduan Attention backends untuk mempelajari cara
attn_implementationmemilih fungsi attention. - Periksa kolom Metal di ringkasan kuantisasi untuk menemukan setiap metode kuantisasi yang berjalan di MPS.