推理服务运维

会把推理引擎跑成线上服务，能做扩缩容、灰度发布和故障恢复。

学习流程

• 推理服务的架构
• 容器化部署
• 扩缩容
• 灰度发布
• 故障恢复演练
• 上线一个推理服务

去哪学

• vLLM 生产部署 文档 · 免费