Transformers documentation

TensorRT-LLM

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

TensorRT-LLM

TensorRT-LLM tối ưu hóa suy luận LLM trên GPU NVIDIA. Nó biên dịch các mô hình thành một engine TensorRT với in-flight batching, paged KV caching và tensor parallelism. AutoDeploy chấp nhận các mô hình Transformers mà không yêu cầu bất kỳ thay đổi nào. Nó tự động chuyển đổi mô hình sang một runtime được tối ưu hóa.

Truyền model id từ Hub vào build_and_run_ad.py để chạy một model Transformers.

cd examples/auto_deploy
python build_and_run_ad.py --model meta-llama/Llama-3.2-1B

Bên trong, AutoDeploy tạo ra một lớp LLM. Nó nạp cấu hình mô hình bằng AutoConfig.from_pretrained() và trích xuất mọi metadata song song hóa được lưu trong tp_plan. AutoModelForCausalLM.from_pretrained() nạp mô hình với cấu hình và bật song song hóa tensor tích hợp sẵn của Transformers.

from tensorrt_llm._torch.auto_deploy import LLM

llm = LLM(model="meta-llama/Llama-3.2-1B")

TensorRT-LLM trích xuất đồ thị mô hình bằng torch.export và áp dụng các tối ưu hóa. Nó thay thế attention của Transformers bằng các attention kernels của TensorRT-LLM và biên dịch mô hình thành một backend thực thi được tối ưu.

Tài nguyên

Update on GitHub