推理压测

会测首字延迟、吞吐和成本，能用数字比较两套推理方案。

学习流程

• TTFT 和 TPOT
• 构造真实负载
• 压测工具
• 成本核算
• 写一份对比报告

去哪学

• vLLM 基准测试 文档 · 免费