随着大数据时代的快速到来，以及大数据在生产生活中迅速应用，大数据领域如雨后春笋般的出现大量的新技术，如Hadoop、Spark等技术，其中Python语言已经成为大数据技术中最为重要的一部分，被越来越多的企业所使用。Python语言的功能涵盖了大数据领域的数据处理、统计分析、数据挖掘、机器学习、人工智能、大数据应用开发等各种不同类型的计算操作，应用范围广泛、前景非常广阔。本课程是尹老师多年工作经验的总结和归纳，从实际业务案例为入口，使学员从理论层到实操层面系统的学习Python语言基础编程，使学员深入理解Python语言的特点。通过本课程的学习，学员即可以正确的分析企业的数据，为管理者、决策层提供数据支撑。 本课程重点讲解Python语言开发技能，为企业的战略发展提供参考

R语言入门基础； R语言进行描述性分析； 市场调研与数据预处理技术； 透过现象看本质：回归分析； 最简单的机器学习算法 -K最近邻； 数学与科学的反映-贝叶斯网络； 分而治之的算法模型-决策树； 人工智能的底层模型-神经网络。

Hadoop生态系统是大数据技术事实标准，是大数据思想、理念、机制的具体实现，是整个大数据技术中公认的核心框架和具有极强的使用价值与研究价值。Hadoop 系统是一款开源软件，能够处理海量的各种结构（包括结构化、非结构化、半结构化）的数据。 Yarn是基于Hadoop的分布式集群资源管理框架；随着Hadoop集群应用的广泛，以及集群的规模越来越大，人们发现Hadoop MRv1存在诸多问题，因此Hadoop MRv2诞生，即现在的YARN，解决了4000节点的上限问题。 基于 Hadoop 的解决方案能够帮助企业应对多个大数据挑战，包括： 1、分析海量（PB 级或者更多）的数据 Hadoop 能够分析所有数据，使得分析更准确，预测更精确； 2、从多个数据类型的组合中获得新的洞察力 将来自多个数据源的不同类型的数据进行结合分析，发现新的数据关系和洞察力； 3、存储大量的数据 由于它不依赖于高端硬件，且是可扩展的，所以使存储大量数据变得经济有效； 4、数据发现(data discovery)和研究 Hadoop 提供了一个地方，数据科学家可在此发现新的数据关系和相互依赖性。

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark采用了内存分布数据集，能更好地适用于数据挖掘与机器学习等需要迭代的算法。Spark 主要有三个优点：一是封装高级API剥离了对集群本身的关注，Spark应用开发者可以专注于解决业务问题；二是Spark 很快，支持交互式计算和复杂算法；三是Spark 是一个通用引擎，可用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等，而在Spark出现之前一般需要学习各种各样的引擎来分别处理这些需求。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化存储集群。HBase是一个分布式的、面向列的开源数据库，该技术来源于Google论文Bigtable（一个结构化数据的分布式存储系统），Bigtable利用了Google文件系统（GFS）所提供的分布式数据存储一样，HBase在Hadoop的分布式文件系统（HDFS）之上提供了类似于Bigtable的能力。HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。 本课程重点讲解Spark、HBase调优案例，让学员通过案例深入讲解Spark、HBase调优。

工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出： “2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）”，重点在基础技术研究和公共部门应用上加大投入。在该计划支持下，加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈（Berkeley Data Analytics Stack），其中的内存计算软件Spark的性能比Hadoop 提高近百倍，对产业界大数据技术走向产生巨大影响” Spark是成为替代MapReduce架构的大数据分析技术，Spark的大数据生态体系包括流处理、图技术、机器学习等各个方面，并且已经成为Apache顶级项目，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。 国内外一些大型互联网公司已经部署了Spark，并且它的高性能已经得到实践的证明。国外Yahoo已在多个项目中部署Spark，尤其在信息推荐的项目中得到深入的应用；国内的淘宝、爱奇异、优酷土豆、网易、baidu、腾讯等大型互联网企业已经将Spark应用于自己的生产系统中。国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。

云计算概念发源于Amazon超大规模的互联网公司，随着这些公司业务的成功，作为其支撑技术的云计算也得到了业界的高度认可和广泛传播。时至今日，云计算已被普遍认为是IT产业发展的新阶段，被赋予了很多产业和产品层面的意义。由于意义多重，各种概念纷繁复杂，众多公司和从业人员的眼中都有自己的一朵云。 传统的系统设计考虑的主要是单机环境，而云计算主要考虑的环境却是数据中心。从单机到数据中心，很多设计原则发生了根本变化，极端点可以说PC时代30年来一直追捧的系统设计原则与理念在网络迅速普及和数据爆炸的今天已完全不适用。那么云计算是应对网络迅速普及和数据爆炸的最有效的IT技术解决方案。 云计算就是利用系统架构技术把超大规模服务器资源整合起来，高度专业化的数据中心运维与管理，为用户提供灵活与快速的资源分配和任务调度能力，让用户节省IT设备的初期采购成本与运维成本，集中精力做自己善长的业务，避免IT工作消耗企业有限的财力、物力与精力。这里的超大规模、资源整合、灵活与快速都体现着云计算应对互联网络迅速普及和数据爆炸所带来的商场局势瞬息裂变的能力。云计算是采用哪些IT技术来切实可行的解决这些问题的呢？最为核心的两大技术就是虚拟化、云计算管理平台，这两大技术实现了超大规模数据中心的运维管理；并且通过云计算管理平台为用户提供虚拟机租赁服务等。 云计算数据中心管理大规模的服务器资源如何保障服务器的质量及自动化管理呢？此课程围绕着云计算数据中心质量保障及自动化管理两大核心问题展开探讨，为企业的IT战略发展提供参考。