TensorRT-LLM

会用 TensorRT-LLM 编译模型，能在 NVIDIA 显卡上跑出更高吞吐。

学习流程

• 模型编译
• 量化和插件
• 推理服务
• 性能调优
• 编译部署一个模型

去哪学

• TensorRT-LLM 文档 文档 · 免费