为什么需要该课程

ChatGPT是由OpenAI公司发布的大型语言模型，主要应用于自然语言处理领域中的对话问题。它通过深度学习技术进行训练，能够对人类语言进行更加精准的理解和生成，并与人类进行更加自然和流畅的对话。

ChatGPT的问世，革新了各行各业的生产方式：程序员面临技术更新换代，需要掌握新技术以保持竞争力和提升职业发展空间；企业家和创业者寻求新的商业机会和创新解决方案，需要了解并掌握具有潜力的AI技术。 

预训练大模型虽然具有强大的泛化能力和广泛的知识，但它们通常是针对大量通用数据集进行训练的，这使得它们在处理特定任务时可能无法达到最佳效果，比如ChatGPT、混元、文心一言在回答一些常识性问题时表现的非常出色，但在物理、化学或编程等专业性问题上往往变的傻了吧唧。怎样让大模型更好地适用于特定场景？此时我们就需要利用特定任务的数据集来进一步训练模型，通过模型精调让全能型大模型变的专而精。这种针对性的精调训练能够使模型更加专注于目标任务的特征，从而提高其在特定任务上的准确性和效率。

目前精调大模型有两种方案，一是基于特定数据对模型的全量参数进行调整，这种方式充分利用了基础模型的表示能力，通过调整所有参数使其更好地适应特定任务。全量精调的完整过程是怎么样的呢？

另一种方法：部分参数微调，它是一种更为高效的精调方法，会先冻结预训练模型的参数，每次只会对模型新增的一部分参数进行更新，通常是通过引入低秩矩阵分解或额外添加一些可训练的参数模块来实现的。

学习收益

通过课程学员有以下主要收益：

1、提供大语言模型知识体系，帮助学员全面了解中外前沿科技、方法工具和业内最佳实践；

2、通过全过程案例讲解，使学员全面掌握大模型的原理和基于大模型驱动的企业级应用架构设计，在边做边学中增强其解决实际问题的能力；

3、对学员的实际项目进行咨询指导，帮助单位完善数字化人才梯队培养，助力企业融入AI浪潮；

4、为学员课后答疑和持续学习提供网站资源，帮助其掌握数字时代学习新理念，提升其自学的意愿和能力。

你可以参加吗

各类软件企业和研发中心的程序员、软件设计师、架构师, 项目经理，架构师。

课程大纲

第一部分: ChatGPT概念诠释及技术发展

1.  ChatGPT是什么

2.  ChatGPT的发展历程

3.  ChatGPT的基本能力

4.  ChatGPT的主要技术

5.  ChatGPT的主要特点

6.  ChatGPT的最大创新点

7.  ChatGPT存在的问题与不足

8.  ChatGPT、AIGC和元宇宙的关系

9.  ChatGPT带来的革命性影响

10.  ChatGPT面临的挑战

第二部分: 国内外大模型对比

1.  国内外大模型研究进展

2.  国外主要大模型

3.  百度文心

4.  智谱清言ChatGLM

5.  阿里通义千万

6.  科大讯飞星火大模型

7.  Moonshot AI (Kimi Chat)

8.  腾讯混元

9.  华为鲲鹏大模型

第三部分: Prompt提示工程--基础篇

1.  什么是Prompt

2.  什么是提示工程

3.  Prompt如何使用和进阶

4.  Prompt的定义和作用

5.  Prompt的组成要素和类型

6.  Prompt是一个人的综合能力的体现

7.  Prompt是想象力的体现

8.  Prompt是逻辑思考能力的体现

9.  Prompt是语言表达能力的体现

第四部分: Prompt提示工程基础-中级篇

1.  提示词基本原则

2.  提示词编写清晰、简明的提示

3.  提示词有效Prompt和无效Prompt

4.  提示词持续提升Prompt能力

5.  提示词上下文学习

6.  提示词思维链

7.  提示词自洽性

8.  提示工程的巨大威力：从Let’s think step by step说起

9.  拆解、标准化、流程化：如何用AI改造工作

第五部分: 使用BROKE框架设计ChatGPT提示词

1.  提示词BROKE框架

2.  背景（Background）：信息传达与角色设计

3.  角色（Role）：AI助手的角色扮演游戏

4.  目标与关键结果（Object&Key Results）：给ChatGPT“打绩效”

5.  改进（Evolve）：进行试验与调整

6.  示例：写自动驾驶出租车试乘报告框架

7.  从认知心理学角度看BROKE框架的设计

第六部分: Prompt提示工程 高级篇

1.  指令、角色、种子与标准提示词

2.  少样本、分布思考与一致性提示词

3.  知识生成及整合、多项选择与可解释变量提示词

4.  控制生成、问答与概述提示词

5.  对话、对抗性与聚类提示词

6.  强化学习、情感分析与命名实体识别提示词

第七部分: AIGC中的Prompt提示工程-AIGC应用

1.  AIGC的诞生和发展 

2.  AIGC引起内容生成范式的变迁 

3.  提示词与AIGC 

4.  AIGC的类别、原理及工具 

5.  提示词与文本生成 

6.  提示词与图像生成

7.  提示词与视频生成

8.  AIGC对各行各业的影响 

9.  提示工程师的诞生 

10.  AIGC图像生成与提示工程 

11.  Stable Diffusion的提示工程 

12.  Midjourney的提示工程 

13.  实战：利用ChatGPT和Midjourney完成广告文案和图像的生成

第八部分: AI大模型-ChatGPT应用场景及商业模式

1.  AI大模型ChatGPT应用场景及行业领域概览

2.  AI大模型ChatGPT应用场景详解-智能办公

3.  AI大模型.ChatGPT应用场景详解-智慧医疗

4.  AI大模型ChatGPT应用场景详解-营销领域

5.  AI大模型ChatGPT应用场景详解-金融行业

6.  AI大模型ChatGPT应用场景详解-教育行业

7.  AI大模型ChatGPT应用场景详解-新闻视听及自媒体行业

8.  AI大模型ChatGPT应用场景详解-跨境电商行业

9.  AI大模型ChatGPT应用场景详解-医疗行业

10.  AI大模型ChatGPT应用场景详解-法律行业

第九部分: 大模型微调基础

1.  为何微调大模型

2.  大模型先天缺陷

3.  预训练成本高昂

4.  垂直数据分布差异

5.  提示推理成本限制

6.  企业私有数据安全

7.  大模型微调三要素

8.  微调数据

9.  算法模型

10.  算力资源

11.  大模型微调的方式

12.  全量参数微调

13.  部分参数微调

14.  在线模型微调

15.  离线模型微调

第十部分: 大模型微调进阶

1.  大模型指令微调技术

2.  通用模型的缺点和指令微调的必要性

3.  指令微调跟BERT时代Fine-tune之间区别

4.  指令集的收集与格式化

5.  指令数据集文件制作

6.  训练模型以及评估模型

7.  大模型参数高效微调技术

8.  什么是参数高效微调技术

9.  Adapter Tuning

10.  Prefix Tuning

11.  P-Tuning

12.  Prompt Tuning

13.  LoRA, AdaLoRA

第十一部分: 基于ChatGLM构建大模型微调七步曲

1.  第一步：获取Webchat个人对话数据

2.  第二步：对话文件转化成可读的Text

3.  第三步：对话数据清洗

4.  第四步：个人分身的评估以及训练、测试集准备

5.  第五步：基于多伦对话数据构造指令数据

6.  第六步：基于DeepSpeed在ChatGLM3-6B上进行训练

7.  第七步：评估模型效果以及持续优化

第十二部分: 大模型高阶微调技术

1.  增量预训练+模型微调

2.  什么是增量预训练（Continuous Pre-train)

3.  增量预训练的挑战

4.  预训练数据准备与微调数据准备

5.  领域知识与通用知识

6.  通用知识的遗忘

7.  领域知识、通用知识的顺序、配比问题

8.  前沿技术方案剖析

9.  大模型微调中的挑战