端侧推理

会用 llama.cpp 这类工具，能在笔记本和手机上跑起大模型。

学习流程

• GGUF 和模型转换
• 量化等级的取舍
• CPU 和 Metal 加速
• 在手机上跑模型
• 在笔记本上跑 7B 模型

去哪学

• llama.cpp 构建与使用 文档 · 免费