课程大纲

Day1：打造你的行业大模型——微调与应用实战

l  行业大模型的构建

Ø GPT模型是如何训练的

预训练 =>监督微调 =>奖励模型 =>强化学习

Ø 预训练数据集的选择

Ø 大模型训练常见问题

Ø 开源模型如何选择

u  技术架构对比：Encoder-only, Encoder-Decoder, Decoder-Only

u  开源大模型榜单分析

u  不同场景下的开源大模型选择

Chat Model：ChatGLM4-6B, Qwen-7B/14B/72B

Code Model：CodeGeeX2, WizardCoder-7B/13B/34B

l  大模型微调实战

Ø 行业数据集的准备

Ø 全量微调 VS高效微调

Ø 主流高效微调方法：Freeze方法、P-Tuning方法、Lora方法

Ø PEFT工具使用：LORA、Adapter、Prefix-tuning、P-tuning、Prompt-tuning

Ø 训练效果与速度对比分析

Ø CASE：行业垂直大模型训练

l  大模型RAG实战

Ø 基于RAG的大模型应用框架

Ø Text Embedding的选择

Ø 向量数据库的选择

Ø 内部知识如何清洗、切分提升RAG推理有效性

l  Case：搭建本地私有知识智能客服

Day2：手把手带你进行LLM应用开发

l  LLM CASE SHOW（以往开发的应用案例展示）：

Ø SQL Copilot

Ø BI Copilot

Ø 智能客服

Ø 数据建模

l  带你开发Assistant助手

Ø Assistant API使用

Ø CASE：银行产品使用查询助手

Ø CASE：客户交易查询助手

l  CASE：带你上手LangChain开发

Ø LangChain的组件：Models，Prompts，Chains，Memory，Agents，Indexes

Ø Agent设计

Ø ReAct范式

Ø LangChain + ChatGLM使用

Ø Case：使用LangChain进行SQL推理

l  CASE：资金流入流出分析（余额宝案例）

Ø Meta数据管理

Ø 智能指标口径

Ø 业务流程实战：

使用LLM进行Code Interpreter

LLM数据字段理解

LLM数据统计分析

LLM数据可视化

LLM分析总结与建议

l  Q&A