大模型训练框架

会用 DeepSpeed、Megatron-LM，能训练几十亿参数的模型。

学习流程

• DeepSpeed ZeRO
• Megatron 并行
• 3D 并行
• 检查点和容错
• 训一个十亿参数模型

去哪学

• DeepSpeed 文档 · 免费
• Megatron-LM 文档 文档 · 免费