预训练数据

会抓取、清洗、去重和配比数据，能做出一份可以训练的预训练语料。

学习流程

• 网页抓取
• 文本清洗
• 去重
• 质量过滤
• 数据配比
• 做一份预训练语料

去哪学

• FineWeb 数据集说明 文章 · 免费
• Dolma 项目 · 免费