任你选择
课程介绍
课程讲授人是从事深度学习项目管理的人员，带队完成了数十个AI项目，内容不仅包括深度学习、机器学习、数据挖掘等具体技术要点，也包括AI的整体发展、现状、应用、商业价值、未来方向等，涵盖内容非常丰富。
邹老师，长春工业大学人工智能研究院院长，工程学术带头人、华东建筑设计研究总院研究员、山东交通学院客座教授、南昌航空大学硕士生导师、中国软件行业协会专家委员、上海市计划生育科学研究所特聘专家、天津大学创业导师、中华中医药学会会员、中国医药教育协会老年运动与健康分会学术委员；领导睿客邦与全国二十多所高校、国企建立了AI联合实验室，完成50多个深度学习实践项目，广泛应用于医疗、交通、农业、气象、银行、电信等多个领域。
课程收益
1，整体把握机器学习、深度学习、数据挖掘的发展方向
2，了解机器学习、深度学习、计算机视觉的技术框架
3，理解机器学习和深度学习的思维方式和关键技术
4，了解深度学习和机器学习在当前工业界的落地应用
5，了解AI顶会论文和最新技术热点
课程大纲
第一节：自注意力机制、Transformer模型和BERT 3
第二节：GPT1、GPT2、GPT3、chatGPT原理与实战 4
预备知识：深度学习框架
问答模型的快速实现：代码完成自由问答机器人
Pytorch框架介绍和环境搭建
Pytorch张量、卷积等基础知识
TensorFlow-Keras体系与PyTorch的对比
池化，激活函数，反向传播
目标分类与识别、目标检测与追踪
MLP多层感知机模型搭建与代码实现
AlexNet-VGGNet-GoogLeNet-ResNet-DenseNet
Inception-V3/V4-NasNet
代码和案例实践：
卷积核与特征提取
人证合一
卷积神经网络调参经验分享
第一节：自注意力机制、Transformer模型和BERT
RNN-LSTM-GRU等基本概念
编码器、解码器
自注意力机制详解
Transformer
Mask Multi-Head Attention
位置编码
特定于任务的输入转换
无监督预训练、有监督 Fine-tuning
BERT思路的理解
GPT基本思想
GPT2：多任务系统
GPT3：少样本、零样本学习
meta-learning（元学习）和in-context learning（基于上下文的学习）
代码和案例实践：
基本问答系统的代码实现
深入阅读理解的代码实现
段落相关性代码实现
高考作文神器
作文生成
第二节：GPT1、GPT2、GPT3、chatGPT原理与实战
监督微调（SFT）模型、
指示学习和提示学习
简单提示、小样本提示、基于用户的提示
指令微调
RLLHF技术详解（从人类的反馈中学习）
聚合问答数据训练奖励模型（RM）
强化学习微调、PPO、
InstructGPT遵循用户意图使用强化学习方案
Instruct Learning vs. Prompt Learning
ChatGPT增加增加了Chat属性
AI 系统的新范式
GPT1-GPT2-GPT3-InstructGPT与chatGPT的技术关系
人工反馈强化学习RLHF
强化学习核心机制
SARSA和Q-Learning
Dueling DQN、PPO算法
InstructGPT遵循用户意图使用强化学习方案
代码和案例实践：
使用chatGPT打造你的私人聊天助理
演示提示词技巧，翻译器润色器、JavaScript 控制台 、Excel Sheet
网站定制chatgpt-web
第三节：大模型LLM应用实战
设计模式：上下文学习
数据预处理/嵌入
提示构建/检索
提示执行/推理
数据预处理/嵌入
Weaviate、Vespa 和 Qdrant等开源系统
Chroma 和 Faiss 等本地向量管理库
pgvector 等OLTP 扩展
提示构建/检索
提示执行/推理
新兴的大语言（LLM）技术栈
数据预处理管道（data preprocessing pipeline）
嵌入终端（embeddings endpoint ）+向量存储（vector store）
LLM 终端（LLM endpoints）
LLM 编程框架（LLM programming framework）
LangChain的主要功能及模块
Prompts: 这包括提示管理、提示优化和提示序列化。
LLMs: 这包括所有LLMs的通用接口，以及常用的LLMs工具。
Document Loaders: 这包括加载文档的标准接口，以及与各种文本数据源的集成。
Utils: 语言模型在与其他知识或计算源的交互
Python REPLs、嵌入、搜索引擎等
LangChain提供的常用工具
Indexes：语言模型结合自定义文本数据
Agents：动作执行、观测结果，
LangChain的代理标准接口、可供选择的代理、端到端代理示例
Chat：Chat模型处理消息
代码和案例实践：
LLM大模型的使用
Prompts的设计和使用
第四节：自定义知识和LangChain的使用
构建垂直领域大模型的通用思路和方法
(1) 大模型+知识库
(2) PEFT(参数高效的微调)
(3) 全量微调
(4) 从预训练开始定制
LangChain介绍
LangChain模块学习-LLMs 和 Prompts
LangChain之Chains模块
LangChain之Agents模块
LangChain之Callback模块
Embedding嵌入
自定义知识库
知识冲突的处理方式
向量化计算可采用的方式
文档加载器模块
向量数据库问答的设计
Lanchain竞品调研和分析
Dust.tt/Semantic-kernel/Fixie.ai/Cognosis/GPT-Index
LlamaIndex介绍
LlamaIndex索引
动手实现知识问答系统
代码和案例实践：
动手实现知识问答机器人
LangChain文本摘要
PDF文本阅读问答
第五节：当前最好的图文生成模型：扩散模型
GAN-VAE-流模型-扩散模型的技术发展和变化
CLIP和扩散模型的结合：基于CLIP模型的多模态引导图像生成：图文引导
GLIDE：文本引导
Diffusion-CLIP模型
扩散和去噪(Diffusion&Denoise)
训练和采样(Training&Sampling)
离散步骤的马尔可夫链
分子热动力学的扩散过程
离散加噪
DDPM-最经典的扩散模型
DDIM：加速采样、可控扩散
IVLR：迭代去燥的图像编辑，低通滤波上采样
RePaint: 被掩码的区域进行扩散生成
代码和案例实践一：
低质量噪声图像修复
精确复原原图
图像去除遮挡、图像补全
图像生成（人物恢复青春、人物变瘦）
第六节：大模型下的行业应用探讨
AIGC的应用领域、发展特点
画作《太空歌剧院》引发的新变化
近期问答系统chatGPT引发的现象级影响
ChatGPT与生成式人工智能（AIGC）
ChatGPT对呼叫中心的业务影响
ChatGPT用于投诉建议的摘要生成
ChatGPT用于调研报告的生成
人机对话
国内外相关竞品
AIGC的可能应用领域和行业影响
本人在央企数字化转型中的实践体会
思考：知识图谱-图网络等“边缘技术”在AIGC中的应用
