本次课程主要针对大数据平台中MapReduce，Hive的原理及使用，以及Spark中的Spark core、Spark SQL 、SparkStreaming这些内容进行讲解，通过这些内容的学习，可以掌握MapReduce的编程思想，以及如何使用SQL计算HDFS上的海量数据，以及掌握Spark中的离线计算和实时计算。

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，Hive将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句实现统计查询，也支持实现自己的UDF函数来完成比较复杂的业务逻辑，非常适合数据仓库的统计分析。本次培训从理论到项目实战，由浅入深，步步进阶。课程主要从Hive运行原理、Hive数据库和表的操作、Hive的表类型详解、Hive的高级函数、Hive SQL性能优化、Hive on Spark、Hive数据仓库设计、Hive数据分析实战项目等全方位讲解，更加注重于实际操作以及开发经验的分享，可以帮助学生快速掌握Hive的企业级应用。 Storm是一个流式实时计算框架，可以实现海量高频数据实时计算，主要应用在实时计算场景中。课程主要从Storm的基本原理、核心设计思想、并行度、流分组、定时器以及Storm和Kafka案例整合项目实战。

本次课程主要针对大数据平台中实时计算相关组件的技术和实战分享，主要针对Redis、Kafka、Spark、Flink的核心原理、实战应用以及生产环境下的使用注意事项等内容进行分析，可以帮助学员对整个实时计算的处理架构有一定的了解，可以快速掌握实时计算的相关程序开发。