Transformers documentation

SGLang

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

SGLang

SGLang là một bộ máy suy luận có độ trễ thấp và thông lượng cao cho các mô hình ngôn ngữ lớn (LLM). Nó cũng bao gồm một ngôn ngữ frontend để xây dựng các luồng công việc dạng agent.

Đặt model_impl="transformers" để tải backend mô hình hóa Transformers.

import sglang as sgl

llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])

Truyền --model-impl transformers vào lệnh sglang.launch_server để phục vụ trực tuyến.

python3 -m sglang.launch_server \
  --model-path meta-llama/Llama-3.2-1B-Instruct \
  --model-impl transformers \
  --host 0.0.0.0 \
  --port 30000

Tích hợp Transformers

Việc đặt model_impl="transformers" cho SGLang biết bỏ qua việc khớp mô hình gốc của nó và sử dụng trực tiếp mô hình Transformers.

  1. PreTrainedConfig.from_pretrained() nạp config.json của mô hình từ Hub hoặc bộ nhớ đệm Hugging Face của bạn.
  2. AutoModel.from_config() xác định lớp mô hình dựa trên cấu hình.
  3. Trong quá trình tải, _attn_implementation được đặt thành "sglang". Điều này định tuyến các lệnh gọi attention thông qua các kernel RadixAttention của SGLang.
  4. Lớp tuyến tính song song của SGLang thay thế các lớp tuyến tính để hỗ trợ song song hóa tensor.
  5. Hàm load_weights nạp trọng số từ các tệp safetensors vào mô hình.

Mô hình được hưởng lợi từ tất cả các tối ưu hóa của SGLang trong khi vẫn sử dụng cấu trúc mô hình của Transformers.

Các model tương thích yêu cầu _supports_attention_backend=True để SGLang có thể kiểm soát việc thực thi attention. Xem hướng dẫn Building a compatible model backend for inference để biết thêm chi tiết.

Tài nguyên

Update on GitHub