第一天

1、Flink基础

  开发环境准备之JDK安装

  开发环境准备之Maven安装

  开发环境准备之IDEA安装

  Flink批处理应用开发之需求描述

  Flink批处理应用Java开发之环境准备

  Flink批处理应用开发之八股文编程

  Flink批处理应用Java开发之功能实现试看

  Flink批处理应用Scala开发之环境准备

  Flink批处理应用Scala开发之功能实现

  使用Java和Scala开发Flink应用程序对比

  Flink实时处理应用Java开发之功能实现

  Flink实时处理应用Java开发之代码重构

  Flink实时处理应用Scala开发之代码重构

  开发过程中依赖的注意事项

2、flink核心概念

  核心概念概述

  DataSet和DataStream

  Flink编程模型

  延迟执行

  指定key之Tuple

  指定key之字段表达式

  指定key之key选择器函数

  指定转换函数

  Flink支持的数据类型

  Flink综合Java和Scala开发的项目构建creenflow

  Data   Source宏观概述

  从集合创建DataSet之Scala实现

  从集合创建DataSet之Java实现

  从文件或者文件夹创建DataSet之Scala实现

  从文件或者文件夹创建DataSet之Java实现

  从csv文件创建Dataset之Scala实现

  从递归文件夹的内容创建DataSet之Scala实现

  从压缩文件中创建DataSet之Scala实现

  Transformation概述

  Transformation函数map之Scala实现

  Transformation函数map之Java实现

  Transformation函数filter之Scala实现

  Transformation函数filter之Java实现

  Transformation函数mapPartition之Scala实现

  Transformation函数mapPartition之Java实现

  Transformation函数first之Scala实现

  Transformation函数first之Java实现

  Transformation函数flatMap之Scala实现

  Transformation函数flatMap之Java实现

  Transformation函数distinct之Scala和Java实现

  Transformation函数join之Scala实现

  Transformation函数outerJoin之Scala实现

  Transformation函数join之Java实现

  Transformation函数outerJoin之Java实现

第二天

3、Flink Table API & SQL编程

  什么是Flink关系型API

  Table API&SQL概述

  使用Scala完成Table API&SQL功能的开发

  使用Java完成Table API&SQL功能的开发

  Table API&SQL其他功能介绍

  Tumbling   Windows详解及Scala编程

  Tumbling   Windows Java编程

  Sliding   Windows详解及Scala编程

  Window   Functions之ReduceFunction的Scala实现

  Window   Functions之ReduceFunction的Java实现

  Window Functions之ProcessWindowFunction的Java实现

  作业--Window   Functions之ProcessWindowFunction的Scala实现

4、flink高级

  Flink部署准备及源码编译

  单机模式部署及代码提交测试

  Flink Standalone模式部署及参数详解

  Hadoop集群快速搭建

  Flink on YARN两种方式

  Flink on YARN第一种模式实操

  Flink on YARN第二种模式实操

  Flink on YARN作业

  如何查找需要配置的Flink参数及UI对应关系介绍

  HistoryServer概述及配置

  HistoryServer的使用

  HistoryServer REST API使用

  Monitoring REST API

  Flink Metrics

  Flink常用优化策略

第三天

5、基于Flink的互联网直播平台日志分析项目实战

  项目背景

  项目功能需求描述

  项目架构

  Mock数据之Kafka生产者代码主流程开发

  Mock数据之Kafka生产者代码日志生产开发

  使用Flink消费Kafka生产的数据

  使用Flink完成实时日志清洗功能开发

  数据清洗过程中添加业务逻辑条件的过滤

  Flink中Watermark的定义及使用

  WindowFunction业务逻辑的实现

  ES部署

  Kibana部署

  统计分析数据写入ES并通过Kibana展示出来

  通过Kibana图形化展示ES中存储的结果

  第一个功能作业

  功能二需求及数据准备

  自定义MySQL数据源读取

  完成两个流关联的数据清洗功能