课程大纲

第一节：卷积神经网络

神经网络结构，滤波器，卷积

池化，激活函数，反向传播

目标分类与识别、目标检测与追踪

AlexNet、VGGNet、GoogleLeNet

Inception-V3/V4

ResNet、DenseNet

代码和案例实践：

数字图片分类

卷积核与特征提取

以图搜图

人证合一

卷积神经网络调参经验分享

第二节：卷积神经网络高级应用

Inception-V3/V4

ResNet、DenseNet

使用迁移学习实现蒙古文识别

获取中间隐层的特征及可视化

隐层特征的意义和使用

迁移学习的trick

学习率、衰减、冻结等问题

代码和案例实践：

数字图片分类

卷积核与特征提取

以图搜图

人证合一

卷积神经网络调参经验分享

猫狗大战详解

海量蒙古文识别

隐特征可视化及其应用

第三节：图像目标检测与视频分类

视频关键帧处理

卷积的位置不变形与图像定位的关系

物体检测与定位

RCNN，Fast-RCNN，Faster-RCNN，MaskRCNN

YOLOv4、SSD

UNet及其与残差网络的结合

FaceNet与特征

EfficientNet、EfficientDet

视频帧的目标定位

时空卷积网络

SlowFast

代码和案例实践：

人脸检测

OCR字体定位和识别

睿客识云

气象识别

视频分类的trick

政务大厅视频监控的真实系统

第四节：时间序列分析

ARIMA、时间序列分析

一维卷积、指数平均和滑动平均、

Prophet模型

MaxPooling做光滑

Attention

CNN+LSTM模型

Bi-LSTM双向循环网络

Keras函数式API与回调函数

代码和案例实践：

时间序列算法：自回归、移动平均和整合模型

股票走势可视化

突变点分析

股票预测模型建立

模型训练

预测与评估

第五节：RNN和Transformer

语言模型Bi-Gram/Tri-Gram/N-Gram

分词算法的原理及类似应用

词性标注

语义关系抽取

词向量

文本分类：基于CNN和基于LSTM的方法比较

机器翻译：Seq2Seq的典型应用

Transformer、BERT等模型原理

文本摘要与信息抽取

阅读理解

问答系统

情感分析

代码和案例实践：

知识图谱：命名实体识别的实践

知识图谱：实体关系的判定与分类

HMM分词及CRF的异同

文本摘要的生成

智能对话系统和SeqSeq模型

阅读理解的实现与Attention

机器翻译

使用LSTM生成文本

第六节：生成对抗网络GAN

生成与判别

生成模型：贝叶斯、HMM到深度生成模型

GAN对抗生成神经网络

DCGAN

Conditional GAN

InfoGan

Wasserstein GAN

代码和案例实践：

图片生成

看图说话

哪些场景不适合用GAN？

指静脉识别与GAN的关系

对抗生成神经网络调参经验分享

第七节：多模态模型

多模态的缘起：图像和文本任务的复杂性

多模态模型的典型拓扑结构：Unicoder-VL、多层transformer结构

VisualBERT模型结构在图像文本上的应用

ViLBERT结构及其改进

VideoBERT模型

实现文本与视频互转

BERT-Large模型

基于Transformer的多模态结构总结

CLIP模型的意义

FLAVA模型在模型参数上的探索

代码和案例实践：

上述多模态模型结构的代码复现和实践价值

第八节、联邦学习与隐私计算

FATE中的联邦学习算法

联邦学习算法分类

横向联邦学习

纵向联邦学习

迁移联邦学习

平台的安装和使用：Linux或Mac

Native部署: 单机部署和集群部署

KubeFATE

JDK、Virtualenv、MySQL、Redis的使用

Docker

手动编译单机版本

从单机部署迁移到集群部署

配置文件

开发或者测试场景docker-compose

生产环境：Kubernetes

综合运行与测试

多方安全计算 MPC

秘密共享

不经意传输

混淆电路

同态加密

零知识证明

数据不充分的通路建立

加密样本对齐

加密模型训练

公钥私钥密码体系

差分隐私

交互式差分隐私保护框架

非交互式差分隐私保护框架

局部差分隐私

代码和案例实践：

联邦学习解决传统机器学习的问题

保险定价的策略指定

小微企业信贷风险管理

联邦学习在深度学习视觉领域的应用

在线模型的更新和反馈

第九节：小样本联邦及样本不均衡应用

小样本学习

数据集

小样本的分类任务

元学习范例

元学习算法

度量学习

匹配网络算法

模型无关的元学习（MAML）

图像分类识别

样本不均衡的图神经网络应用

计算机视觉

医疗诊断

欺诈检测

采样方法

过采样

下采样

随机多数下采样

样本不均衡的解决方法

代码和案例实践：

联邦学习横向联邦的数据分析实践

联邦学习纵向联邦的特征实践

FATE框架的使用

联邦学习的图像识别代码实现