多模态模型

会训练和微调图文模型，能让模型同时看图和读字回答问题。

学习流程

• 图像编码器
• 图文对齐：CLIP
• 视觉指令微调
• 多模态评测
• 微调一个图文问答模型

去哪学

• LLaVA 项目 · 免费