RLHF 对齐

会训练奖励模型，能用 PPO 或 DPO 按人类偏好对齐模型。

学习流程

• 偏好数据
• 奖励模型
• PPO 对齐
• DPO 对齐
• 对齐一个小模型

去哪学

• Hugging Face TRL 文档 · 免费
• RLHF 书 书 · 免费