Transformers documentation
TensorRT-LLM
TensorRT-LLM
TensorRT-LLM tối ưu hóa suy luận LLM trên GPU NVIDIA. Nó biên dịch các mô hình thành một engine TensorRT với in-flight batching, paged KV caching và tensor parallelism. AutoDeploy chấp nhận các mô hình Transformers mà không yêu cầu bất kỳ thay đổi nào. Nó tự động chuyển đổi mô hình sang một runtime được tối ưu hóa.
Truyền model id từ Hub vào build_and_run_ad.py để chạy một model Transformers.
cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1BBên trong, AutoDeploy tạo ra một lớp LLM. Nó nạp cấu hình mô hình bằng AutoConfig.from_pretrained() và trích xuất mọi metadata song song hóa được lưu trong tp_plan. AutoModelForCausalLM.from_pretrained() nạp mô hình với cấu hình và bật song song hóa tensor tích hợp sẵn của Transformers.
from tensorrt_llm._torch.auto_deploy import LLM
llm = LLM(model="meta-llama/Llama-3.2-1B")TensorRT-LLM trích xuất đồ thị mô hình bằng torch.export và áp dụng các tối ưu hóa. Nó thay thế attention của Transformers bằng các attention kernels của TensorRT-LLM và biên dịch mô hình thành một backend thực thi được tối ưu.
Tài nguyên
- Tài liệu TensorRT-LLM để xem các hướng dẫn sử dụng chi tiết hơn.
- Hướng dẫn AutoDeploy giải thích cách hoạt động kèm theo các ví dụ nâng cao.