课程介绍
本课程主要讲解Kafka核心原理及使用、Flink的核心设计原理、实时计算、SQL计算等使用场景,同时通过实战案例与实际业务的场景相结合,让学员轻松掌握Kafka和Flink在实时计算领域的实际应用。
课程对象
大数据开发工程师,对实时计算感兴趣的人员
课程时长
2天(6小时/天)
课程方式
● PPT+教材+参考资料,理论讲解
● 场景+案例+模拟环境,动手实践
● 手把手解决问题+解决问题经验分享
课程大纲
培训天数 | 课程模块 | 课程内容 |
第一天 (上午) | Kafka核心原理及应用 | 什么是Kafka Kafka中的生产者和消费者 核心组件扩展Broker、Producer、Consumer Kafka中的存储策略和容错机制剖析 【实战】Java代码实现生产者和消费者代码 【实战】Kafka高级消费策略应用及剖析 【实战】Kafka中三种语义的原理及使用 Kafka集群核心参数调忧 Kafka集群监控管理工具(CMAK) Kafka集群平滑升级案例分析 |
第一天 (下午) | Flink原理及核心功能应用 | Flink核心设计原理 Flink整体架构分析 Flink API层面架构分析 Flink典型应用场景分析 Flink集群部署方式分析 Storm vs SparkStreaming vs Flink 【实战】Flink实时计算案例实战 【实战】Flink Datastream 常用算子分析及实战 【实战】Flink Dataset常用算子分析及实战 |
第二天 (上午) | Flink高级功能分析 | Flink中的高级功能之Broadcast Flink中的高级功能之Accumulators 和Counters Flink中的高级功能之Distributed Cache Flink中的state管理与恢复机制分析 【实战】Flink中的window详解及应用 Flink中的Time详细分析 Flink中的Parallel分析 Flink中的数据乱序问题分析 Flink中的watermark机制介绍 【实战】Flink中watermark案例实战【解决实时计算数据乱序问题】 |
第二天 (下午) | Flink高级功能分析 | Flink中kafka consumer的Exactly-Once语义分析 Flink的两阶段提交机制分析 【实战】FlinkSQL的原理及应用 【实战】Flink SQL维表 Join和双流Join |
项目实战 | 基于Flink SQL的实时计算平台架构分析 基于Flink SQL实现企业级数据流转功能 Flink在实战中遇到的问题及解决方案 |