4006-998-758
3000+课程任你选择
基于Kafka+Flink的实时数据计算
研发学院 基于Kafka+Flink的实时数据计算 开课时间:2022-03-30
徐葳

丰富的IT方面从业经验,曾任职猎豹移动大数据技术专家、中科院大数据研究院大数据技术专家,对大数据生态体系有深入理解。曾主导开发了海量日志数据采集系统、OLAP数据分析平台、数据仓库、PB级日志检索系统、数据中台等。受邀成为郑州工业应用学院特聘大数据讲师。


查看老师详情
课程内容

课程介绍


本课程主要讲解Kafka核心原理及使用、Flink的核心设计原理、实时计算、SQL计算等使用场景,同时通过实战案例与实际业务的场景相结合,让学员轻松掌握Kafka和Flink在实时计算领域的实际应用。


课程对象


大数据开发工程师,对实时计算感兴趣的人员


课程时长 


2天(6小时/天)


课程方式 

 

●  PPT+教材+参考资料,理论讲解

●  场景+案例+模拟环境,动手实践

● 手把手解决问题+解决问题经验分享


课程大纲 

 

培训天数

课程模块

课程内容

第一天

(上午)

Kafka核心原理及应用

什么是Kafka

Kafka中的生产者和消费者

核心组件扩展Broker、Producer、Consumer

Kafka中的存储策略和容错机制剖析

【实战】Java代码实现生产者和消费者代码

【实战】Kafka高级消费策略应用及剖析

【实战】Kafka中三种语义的原理及使用

Kafka集群核心参数调忧

Kafka集群监控管理工具(CMAK)

Kafka集群平滑升级案例分析

第一天

(下午)

Flink原理及核心功能应用

Flink核心设计原理

Flink整体架构分析

Flink API层面架构分析

Flink典型应用场景分析

Flink集群部署方式分析

Storm vs   SparkStreaming vs Flink

【实战】Flink实时计算案例实战

【实战】Flink Datastream 常用算子分析及实战

【实战】Flink Dataset常用算子分析及实战

第二天

(上午)

Flink高级功能分析

Flink中的高级功能之Broadcast

Flink中的高级功能之Accumulators 和Counters

Flink中的高级功能之Distributed Cache

Flink中的state管理与恢复机制分析

【实战】Flink中的window详解及应用

Flink中的Time详细分析

Flink中的Parallel分析

Flink中的数据乱序问题分析

Flink中的watermark机制介绍

【实战】Flink中watermark案例实战【解决实时计算数据乱序问题】

第二天

(下午)

Flink高级功能分析

Flink中kafka consumer的Exactly-Once语义分析

Flink的两阶段提交机制分析

【实战】FlinkSQL的原理及应用

【实战】Flink SQL维表 Join和双流Join

项目实战

基于Flink SQL的实时计算平台架构分析

基于Flink SQL实现企业级数据流转功能

Flink在实战中遇到的问题及解决方案


返回上一级