大数据建模与分析挖掘技术已经逐步地应用到新兴互联网企业（如电子商务网站、搜索引擎、社交网站、互联网广告服务提供商等）、银行金融证券企业、电信运营等行业，给这些行业带来了一定的数据价值增值作用。 本次课程面向有一定的数据分析挖掘算法基础的工程师，带大家实践大数据分析挖掘平台的项目训练，系统地讲解： （1）数据分析与挖掘的背景、基本概念、能干什么、优势何在、方法步骤、项目思路。 （2）大数据分析挖掘和机器学习的模型、建模方法和案例，重点是决策树机器学习模型和关联规则机器学习模型及其应用； （3）SPSS大数据建模与挖掘软件的应用实践，包括决策树，关联规则，朴素贝叶斯网络，SVM模型的实践与操作； （4）Python朴素贝叶斯、决策树、逻辑回归机器学习模型及应用实践操作； （5）数据建模、分析挖掘技术体系及其平台方案实现； （6）机器学习和大数据建模在电商、电信领域的用户画像应用案例。

1.概念 a.5V模型 b.实例讨论 2.业界主流大数据解决方案 a.ELK b.Hadoop 3.大数据产品分类介绍 a.开源技术 商业产品

本次课程主要针对大数据平台中MapReduce，Hive的原理及使用，以及Spark中的Spark core、Spark SQL 、SparkStreaming这些内容进行讲解，通过这些内容的学习，可以掌握MapReduce的编程思想，以及如何使用SQL计算HDFS上的海量数据，以及掌握Spark中的离线计算和实时计算。

本次课程主要针对大数据平台中实时计算相关组件的技术和实战分享，主要针对Redis、Kafka、Spark、Flink的核心原理、实战应用以及生产环境下的使用注意事项等内容进行分析，可以帮助学员对整个实时计算的处理架构有一定的了解，可以快速掌握实时计算的相关程序开发。

工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出： “2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）”，重点在基础技术研究和公共部门应用上加大投入。在该计划支持下，加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈（Berkeley Data Analytics Stack），其中的内存计算软件Spark的性能比Hadoop 提高近百倍，对产业界大数据技术走向产生巨大影响” Spark是成为替代MapReduce架构的大数据分析技术，Spark的大数据生态体系包括流处理、图技术、机器学习等各个方面，并且已经成为Apache顶级项目，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。 国内外一些大型互联网公司已经部署了Spark，并且它的高性能已经得到实践的证明。国外Yahoo已在多个项目中部署Spark，尤其在信息推荐的项目中得到深入的应用；国内的淘宝、爱奇异、优酷土豆、网易、baidu、腾讯等大型互联网企业已经将Spark应用于自己的生产系统中。国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。

基于开源大数据平台数据分析和挖掘实训课程，该是一个理论与实践相结合的课程，阐述大数据主流的系统架构，数据分析。 本课程包含了开源大数据常用的技术Spark、Hbase和 Flink常用的技术。