投机解码

会用小模型草拟、大模型验证，能在同样的显卡上让模型出字更快。

学习流程

• 投机解码原理
• 草稿模型的选择
• 接受率和加速比
• 在 vLLM 里开启
• 测出加速效果

去哪学

• 投机解码论文 论文 · 免费
• vLLM 投机解码 文档 · 免费