课程大纲
培训天数 | 课程模块 | 培训内容 |
第一天 (上午) | Kafka核心原理及应用 Flink原理架构 | Kafka的原理架构分析 Kafka核心组件扩展Broker、Producer、Consumer Kafka中的存储策略和容错机制剖析 Kafka高级消费策略应用及剖析 Kafka中三种语义的原理及使用 Flink核心设计原理及整体架构分析 Flink常用部署模式分析(ON YARN两种模式 和Application模式) Storm vs SparkStreaming vs Flink Flink DataStream常用算子分析及实战 Flink DataStream自定义Source Flink DataStream自定义Sink |
第一天 (下午) | Flink核心功能应用 | Flink中State的原理机制分析 Flink中State类型详解与应用(包括Keyed State+Operator State) Flink中State的扩缩容模式分析 Flink中State的容错与一致性 CheckPoint的原理及配置分析 Checkpoint的生成与恢复过程详解(包括Checkpoint Barrier) Kafka+Flink+Kafka实现端到端一致性 两阶段提交机制分析 State Backend的原理及应用 State的生存时间(TTL) 如何在任务运行期间查询State? |
第二天 (上午) | Flink高级功能分析 | Flink中的高级功能之Broadcast Flink中的高级功能之Accumulators 和Counters Flink中的高级功能之Distributed Cache Flink中的window及Time详解及应用 Flink中的Parallel详细分析 Flink中的实时数据乱序问题分析 Flink中的watermark机制介绍及案例实战 Flink中的性能调忧案例分析 Flink SQL的原理及应用 Flink SQL维表 Join和双流Join 基于Flink SQL的实时计算平台架构分析 基于Flink SQL实现企业级数据流转功能 |