模型蒸馏

会用大模型的输出训练小模型，能用很少的成本保住大部分能力。

学习流程

• 知识蒸馏原理
• 用大模型生成数据
• 数据筛选和配比
• 训练小模型
• 蒸馏出一个小助手

去哪学

• 蒸馏论文 论文 · 免费