第1章 大数据平台架构
● 大数据的产生背景、发展历程
● 大数据和云计算的关系
● 大数据应用需求以及潜在价值分析
● 业界最新的大数据技术发展态势与应用趋势
● 大数据项目的技术选型与大数据处理系统架构设计
● “互联网+”时代下的电子商务、制造业、零售批发业、电信运营商、互联网金融业、网上银行、电子政务、移动互联网、教育信息化等行业应用实践与应用案例剖析
● 国内外主流的大数据解决方案
● 当前大数据解决方案与传统数据库方案比较
● Apache大数据平台方案
● CDH大数据平台方案
● HDP大数据平台方案
● 开源的大数据生态系统平台
● Hadoop的发展历程以及产业界的实际应用
● Hadoop大数据平台架构
● 基于Hadoop平台的PB级大数据存储管理与分析处理
● Hadoop的核心组件
第2章大数据各组件概述
● Ambari
● Hadoop
● 云计算三层架构
● HDFS:分布式文件系统
● YARN
● MAPREDUCE 分布式运算程序开发框架
● HBASE 基于HADOOP的分布式海量数据库
● ZOOKEEPER 分布式协调服务基础组件
● Mahout 基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
● Oozie 工作流调度框架
● Sqoop 数据导入导出工具
● Flume 日志数据采集框架
● Pig
● Submarine 机器学习引擎系统
● Avro 提供数据序列化的工具
● Spark 处理大数据通用计算引擎
● Tez:DAG计算框架
● Storm 实时计算数据流的工具
● Kafka分布式消息队列
● Flink 新一代流式处理引擎
第3章大数据离线开发
● 离线数据平台的架构、技术和设计
● 数据开发平台
● 统一计算平台
● 统一开发平台
● 任务调度
● 核心设计模型
● 任务状态机模型
● 工作状态机模型
● 调度引擎工作原理
● 执行引擎逻辑架构
● 调度系统的特点
● Hadoop原理实践--HDFS和MapReduce
● Hive原理实践--Hive SQL
● Hive优化实践
● 维度建模技术实践
● Hadoop数据仓库开发
第4章大数据流式开发
● Storm流计算开发
● Spark Streaming流计算开发
● Flink流计算开发
● Stream SQL实时开发
第5章 TBDS开发
● TBDS大数据处理平台
● TBDS模块介绍
● Hermes实时探索分析平台
● TBDS组件实践
● TBDS案例
第6章大数据架构发展趋势
● 存储计算分离
● 拥抱容器
● 更具弹性
● 与云上其他产品和服务整合更加紧密
● 实时计算及实时数仓
● 人工智能推动数据智能应用
● 技术趋势,湖仓一体化
● 大数据平台融合云计算