4006-998-758
3000+课程任你选择
Big data Stream processing (Kafka, Flink)-初中级班
研发学院 Flink 开课时间:2022-05-27
徐葳

丰富的IT方面从业经验,曾任职猎豹移动大数据技术专家、中科院大数据研究院大数据技术专家,对大数据生态体系有深入理解。曾主导开发了海量日志数据采集系统、OLAP数据分析平台、数据仓库、PB级日志检索系统、数据中台等。受邀成为郑州工业应用学院特聘大数据讲师。


查看老师详情
课程内容


课程大纲


培训天数

课程模块

培训内容

第一天

(上午)

Kafka核心原理及应用

Flink原理架构

Kafka的原理架构分析

Kafka核心组件扩展Broker、Producer、Consumer

Kafka中的存储策略和容错机制剖析

Kafka高级消费策略应用及剖析

Kafka中三种语义的原理及使用

Flink核心设计原理及整体架构分析

Flink常用部署模式分析(ON YARN两种模式 和Application模式)

Storm vs SparkStreaming vs Flink

Flink DataStream常用算子分析及实战

Flink DataStream自定义Source

Flink DataStream自定义Sink

第一天

(下午)

Flink核心功能应用

Flink中State的原理机制分析

Flink中State类型详解与应用(包括Keyed State+Operator State)

Flink中State的扩缩容模式分析

Flink中State的容错与一致性

CheckPoint的原理及配置分析

Checkpoint的生成与恢复过程详解(包括Checkpoint Barrier)
  Checkpoint 与Savepoint的区别及特点

Kafka+Flink+Kafka实现端到端一致性

两阶段提交机制分析

State Backend的原理及应用

State的生存时间(TTL)

如何在任务运行期间查询State?

第二天

(上午)

Flink高级功能分析

Flink中的高级功能之Broadcast

Flink中的高级功能之Accumulators 和Counters

Flink中的高级功能之Distributed Cache

Flink中的window及Time详解及应用

Flink中的Parallel详细分析

Flink中的实时数据乱序问题分析

Flink中的watermark机制介绍及案例实战

Flink中的性能调忧案例分析

Flink SQL的原理及应用

Flink SQL维表 Join和双流Join

基于Flink SQL的实时计算平台架构分析

基于Flink SQL实现企业级数据流转功能


返回上一级