模块分类 | 核心内容 | 课程收益 |
Day1 | Flink核心设计思想 | Dataflow计算模式原理介绍 MapReduce计算模式原理介绍 Chandy Lamport分布式容错方案在FLink的实现 Flink早期架构设计 Flink技术架构演进 |
Flink API设计与实现 | Flink API整体设计与架构实现 Flink三种Graph的转换与生成 Flink DataStream API设计与实现 Flink SQL与Table设计与实现 Flink SQL解析原理与优化 Flink SQL CodeGen设计实现 Flink SQL优化与常用案例解析 Flink SQL与DataStream API对比 Flink SQL实现批流一体 Flink DataStream批流一体实现 Flink SQL容错机制介绍 Flink SQL实现血缘解析与元数据管理 |
Flink状态实现与解析 | Flink State介绍与应用 Flink StateBackend设计与实现 Flink FsStateBackend深度解析 Flink RocksdbStateBackend深度解析 Flink状态优化实践 Flink Savepoint介绍与实现 Flink Checkpoint介绍与实现 Flink容错机制介绍与实现 |
Flink Runtime设计与实现 | Flink Runtime整体设计与实现 Flink Client原理与源码实现 Flink客户端与Session集群通信 Flink Dispatcher组件介绍与实现 Flink JobManager设计与实现 Flink TaskManager原理与设计 Flink ResourceManager设计与原理解析 Flink 高可用服务 Flink On K8s HA实现方式与介绍 Flink On Zk HA设计与实现 Flink Aggregated Failure Rate Restart Strategy 方案 |
Day2 | Flink集群部署模式解析 | Flink ResourceManager设计与原理解析 Flink部署架构设计 Flink On Yarn实现原理与源码解析 Flink On Kubernetes实现原理与源码解析 Flink Session集群与Job集群模式对比 Flink集群部署模式对比 Flink内存资源管理与实现 Flink细粒度Slot资源管理与实现 Flink混布模式解析 |
湖仓一体架构介绍 | 1.数据湖基本概念 2.数据湖的发展历程 3.数据仓库与数据湖对比 4.数据湖核心优势 5.数据湖主流技术 6.Apache iceberg核心技术与实现 7. Apache Hudi核心技术与实现 8. Delta Lake核心技术与实现 6. 湖仓一体架构原理 9.湖仓一体平台建设 10.Flink与数据湖整合 |
Flink作业与资源监控 | Flink常用Metrics监控指标介绍与获取 Flink Metrics设计与实现 Flink自定义Metrics设计与实现 Flink对接Grafana与Prometheus监控系统 Flink任务管理与资源监控 Flink Restful API设计原理与拓展 Flink SQL平台化实现过程 Flink SQL Debug调试平台 Flink 作业级别时延监控方案 Flink资源监控与设计方案介绍 |
Flink高级应用介绍 | PyFlink与Flink Ml实现AI应用落地 Flink CEP案例介绍与实现 Flink 图计算介绍与案例 Flink特征工程与实现 流数据平台案例介绍 实时数据仓库案例介绍 |