模型量化

会用 INT8、FP8、4-bit 量化模型，能在精度几乎不掉时让它变小变快。

学习流程

• 数值格式和量化原理
• 训练后量化
• GPTQ 和 AWQ
• FP8 推理
• 量化一个模型并测精度

去哪学

• Hugging Face 量化指南 文档 · 免费