从零实现 GPT

会亲手写注意力、训练一个小 GPT，能说清大模型每一层在算什么。

学习流程

• 分词器
• 自注意力
• Transformer 块
• 训练和采样
• 从零训一个小 GPT

去哪学

• Karpathy Zero to Hero 视频 · 免费
• Stanford CS336 课程 · 免费