课程大纲

l  行业大模型的构建

Ø  GPT模型是如何训练的

预训练 =>监督微调 =>奖励模型 =>强化学习

Ø  预训练数据集的选择

Ø  大模型训练常见问题

Ø  开源模型如何选择

u  技术架构对比：Encoder-only, Encoder-Decoder, Decoder-Only

u  开源大模型榜单分析

u  不同场景下的开源大模型选择

Chat Model：ChatGLM4-6B, Qwen-7B/14B/72B

Code Model：CodeGeeX2, WizardCoder-7B/13B/34B

l  大模型微调实战

Ø  行业数据集的准备

Ø  全量微调 VS高效微调

Ø  主流高效微调方法：Freeze方法、P-Tuning方法、Lora方法

Ø  PEFT工具使用：LORA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

Ø  训练效果与速度对比分析

Ø  CASE：行业垂直大模型训练

l  大模型RAG实战

Ø  基于RAG的大模型应用框架

Ø  Text Embedding的选择

Ø  向量数据库的选择

Ø  内部知识如何清洗、切分提升RAG推理有效性

l  Case：搭建本地私有知识智能客服