Transformers documentation
SGLang
SGLang
SGLang là một bộ máy suy luận có độ trễ thấp và thông lượng cao cho các mô hình ngôn ngữ lớn (LLM). Nó cũng bao gồm một ngôn ngữ frontend để xây dựng các luồng công việc dạng agent.
Đặt model_impl="transformers" để tải backend mô hình hóa Transformers.
import sglang as sgl
llm = sgl.Engine("meta-llama/Llama-3.2-1B-Instruct", model_impl="transformers")
print(llm.generate(["The capital of France is"], {"max_new_tokens": 20})[0])Truyền --model-impl transformers vào lệnh sglang.launch_server để phục vụ trực tuyến.
python3 -m sglang.launch_server \ --model-path meta-llama/Llama-3.2-1B-Instruct \ --model-impl transformers \ --host 0.0.0.0 \ --port 30000
Tích hợp Transformers
Việc đặt model_impl="transformers" cho SGLang biết bỏ qua việc khớp mô hình gốc của nó và sử dụng trực tiếp mô hình Transformers.
- PreTrainedConfig.from_pretrained() nạp
config.jsoncủa mô hình từ Hub hoặc bộ nhớ đệm Hugging Face của bạn. - AutoModel.from_config() xác định lớp mô hình dựa trên cấu hình.
- Trong quá trình tải,
_attn_implementationđược đặt thành"sglang". Điều này định tuyến các lệnh gọi attention thông qua các kernel RadixAttention của SGLang. - Lớp tuyến tính song song của SGLang thay thế các lớp tuyến tính để hỗ trợ song song hóa tensor.
- Hàm load_weights nạp trọng số từ các tệp safetensors vào mô hình.
Mô hình được hưởng lợi từ tất cả các tối ưu hóa của SGLang trong khi vẫn sử dụng cấu trúc mô hình của Transformers.
Các model tương thích yêu cầu
_supports_attention_backend=Trueđể SGLang có thể kiểm soát việc thực thi attention. Xem hướng dẫn Building a compatible model backend for inference để biết thêm chi tiết.
Tài nguyên
- Tài liệu SGLang có nhiều ví dụ sử dụng và mẹo khi dùng Transformers làm backend.
- Bài đăng trên blog Tích hợp backend Transformers trong SGLang giải thích những gì mà tích hợp này cho phép.