4006-998-758
3000+课程任你选择
大数据开发及架构
研发学院 大数据开发及架构 开课时间:2022-05-09
熊磊光

现任某大数据公司技术总监

曾任华为软件工程师

中国农业大学 信电学院自动化硕士

10年以上软件开发和系统架构设计工作经验,历任软件工程师、高级工程师、技术经理、部门经理、架构师。现公司致力于开发全生命周期的大数据存储,以及大数据平台产品,目前集中在运营商、金融、归档等行业和业务方向。从事技术培训工作5年以上,主讲软件开发和大数据相关技术课程,能够运用 Python, Java, C++等语言,精通Spark、Hadoop, Hive, Map-Reduce 分布式计算系统设计算法,主持和参与过多个大型开发项目,具备架构设计、软件开发和数据分析挖掘能力。具备培训课程开发和组织能力。


查看老师详情
课程内容

第1章 大数据平台架构

  ● 大数据的产生背景、发展历程

  ● 大数据和云计算的关系

  ● 大数据应用需求以及潜在价值分析

  ● 业界最新的大数据技术发展态势与应用趋势

  ● 大数据项目的技术选型与大数据处理系统架构设计

  ● “互联网+”时代下的电子商务、制造业、零售批发业、电信运营商、互联网金融业、网上银行、电子政务、移动互联网、教育信息化等行业应用实践与应用案例剖析

  ● 国内外主流的大数据解决方案

  ● 当前大数据解决方案与传统数据库方案比较

  ● Apache大数据平台方案

  ● CDH大数据平台方案

  ● HDP大数据平台方案

  ● 开源的大数据生态系统平台

  ● Hadoop的发展历程以及产业界的实际应用

  ● Hadoop大数据平台架构

  ● 基于Hadoop平台的PB级大数据存储管理与分析处理

  ●  Hadoop的核心组件

 

第2章大数据各组件概述

  ●  Ambari

  ●  Hadoop

  ● 云计算三层架构

  ● HDFS:分布式文件系统

  ● YARN

  ● MAPREDUCE 分布式运算程序开发框架

  ● HBASE 基于HADOOP的分布式海量数据库

  ● ZOOKEEPER 分布式协调服务基础组件

  ●  Mahout 基于mapreduce/spark/flink等分布式运算框架的机器学习算法库

  ● Oozie 工作流调度框架

  ● Sqoop 数据导入导出工具

  ● Flume 日志数据采集框架

  ● Pig

  ● Submarine 机器学习引擎系统

  ● Avro 提供数据序列化的工具

  ● Spark 处理大数据通用计算引擎

  ● Tez:DAG计算框架

  ● Storm 实时计算数据流的工具

  ● Kafka分布式消息队列

  ● Flink 新一代流式处理引擎

 

第3章大数据离线开发

  ● 离线数据平台的架构、技术和设计

  ● 数据开发平台

  ● 统一计算平台

  ● 统一开发平台

  ● 任务调度

  ● 核心设计模型

  ● 任务状态机模型

  ● 工作状态机模型

  ● 调度引擎工作原理

  ● 执行引擎逻辑架构

  ● 调度系统的特点

  ● Hadoop原理实践--HDFS和MapReduce

  ● Hive原理实践--Hive SQL

  ● Hive优化实践

  ● 维度建模技术实践

  ● Hadoop数据仓库开发

 

第4章大数据流式开发

  ● Storm流计算开发

  ● Spark Streaming流计算开发

  ● Flink流计算开发

  ● Stream SQL实时开发

 

第5章  TBDS开发

  ● TBDS大数据处理平台

  ● TBDS模块介绍

  ● Hermes实时探索分析平台

  ● TBDS组件实践

  ● TBDS案例

 

第6章大数据架构发展趋势

  ●  存储计算分离

  ●  拥抱容器

  ● 更具弹性

  ●  与云上其他产品和服务整合更加紧密

  ● 实时计算及实时数仓

  ●  人工智能推动数据智能应用

  ●  技术趋势,湖仓一体化

  ●  大数据平台融合云计算

返回上一级