4006-998-758
3000+课程任你选择
Hive SQL+Storm实战应用
研发学院 核心原理 高级功能 Hive 原理 开课时间:2021-07-03
徐葳

丰富的IT方面从业经验,曾任职猎豹移动大数据技术专家、中科院大数据研究院大数据技术专家,对大数据生态体系有深入理解。曾主导开发了海量日志数据采集系统、OLAP数据分析平台、数据仓库、PB级日志检索系统、数据中台等。受邀成为郑州工业应用学院特聘大数据讲师。


查看老师详情
课程内容

时间安排

课程模块

课程内容

第一天 上午

60分钟

一、Hive 原理及功能实操

1 Hive原理及系统架构介绍

2 Hive中Database的操作

3 Hive中Table的操作

15分钟

课间休息

60分钟

4 Hive表数据加载的两种模式

5 Hive复合数据类型使用(array\map\struct)

6 Mysql数据如何迁移到Hive中

15分钟

课间休息

60分钟

7 Hive表类型介绍

8 Hive的内部表、外部表、分区表、桶表实操

第一天 下午

60分钟

二、Hive高级功能实操及项目实战

1 Hive 的视图和索引实操

2 Hive的高级函数

3  Hive中的分组排序取TopN\行转列\列转行

4  Hive中groupby和distinct和over的区别

5 Hive的三种计算引擎分析(MapReduce\Tez\Spark)

15分钟

课间休息

60分钟

1 Hive SQL数据分析项目概述

项目整体概述(包括数据采集、存储、清洗、分析)

2 数据分析脚本开发

开发数据分析的SQL脚本

项目实战:直播平台金融流水数据分析

15分钟

课间休息

60分钟

3 项目部署上线及SQL调忧

项目实战:实现任务定时执行,故障预警,SQL性能优化

4 数据仓库建模分析

5 数据仓库分层设计详解

第二天 上午

60分钟

三、Storm核心原理

1 Storm基本原理分析

2 Storm核心设计思想

15分钟

课间休息

60分钟

3 Storm 核心组件详解

4 Storm入门案例开发

15分钟

课间休息

60分钟

5 Storm并行度详解

6 Storm流分组详解

第二天 下午

90分钟

四、Storm高级特性及项目实战

1 Storm可靠性详解

2 Storm定时器

3 Storm UI参数详解

4 Storm参数优化

15分钟

课间休息

90分钟

5 Storm-kafka项目需求分析

6 Storm-kafka项目代码开发

7 Storm-kafka项目参数调忧

8 Storm-kafka项目部署上线流程

项目实战:Storm整合Kafka


课程方式

PPT+教材+参考资料,理论讲解

场景+案例+模拟环境,动手实践

手把手解决问题+解决问题经验分享


课程收益

了解Hive的原理及企业实际使用场景

掌握Hive SQL语句编程

掌握Hive的企业级项目开发

了解Storm的应用场景

掌握Storm在实时计算领域的使用


课程对象

有一定编程基础或SQL基础,想学习和了解大数据或者数据分析的学员

有一定java编程基础,想学习实时计算的学员

计算机相关专业,未来向大数据领域或者数据分析方向发展的学员


返回上一级