Hadoop生态系统是大数据技术事实标准，是大数据思想、理念、机制的具体实现，是整个大数据技术中公认的核心框架和具有极强的使用价值与研究价值。Hadoop 系统是一款开源软件，能够处理海量的各种结构（包括结构化、非结构化、半结构化）的数据。 Yarn是基于Hadoop的分布式集群资源管理框架；随着Hadoop集群应用的广泛，以及集群的规模越来越大，人们发现Hadoop MRv1存在诸多问题，因此Hadoop MRv2诞生，即现在的YARN，解决了4000节点的上限问题。 基于 Hadoop 的解决方案能够帮助企业应对多个大数据挑战，包括： 1、分析海量（PB 级或者更多）的数据 Hadoop 能够分析所有数据，使得分析更准确，预测更精确； 2、从多个数据类型的组合中获得新的洞察力 将来自多个数据源的不同类型的数据进行结合分析，发现新的数据关系和洞察力； 3、存储大量的数据 由于它不依赖于高端硬件，且是可扩展的，所以使存储大量数据变得经济有效； 4、数据发现(data discovery)和研究 Hadoop 提供了一个地方，数据科学家可在此发现新的数据关系和相互依赖性。

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark采用了内存分布数据集，能更好地适用于数据挖掘与机器学习等需要迭代的算法。Spark 主要有三个优点：一是封装高级API剥离了对集群本身的关注，Spark应用开发者可以专注于解决业务问题；二是Spark 很快，支持交互式计算和复杂算法；三是Spark 是一个通用引擎，可用它来完成各种各样的运算，包括SQL查询、文本处理、机器学习等，而在Spark出现之前一般需要学习各种各样的引擎来分别处理这些需求。 HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建大规模结构化存储集群。HBase是一个分布式的、面向列的开源数据库，该技术来源于Google论文Bigtable（一个结构化数据的分布式存储系统），Bigtable利用了Google文件系统（GFS）所提供的分布式数据存储一样，HBase在Hadoop的分布式文件系统（HDFS）之上提供了类似于Bigtable的能力。HBase不同于一般的关系型数据库，它是一个适合于非结构化数据存储的数据库。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。 本课程重点讲解Spark、HBase调优案例，让学员通过案例深入讲解Spark、HBase调优。

通过实战，可以让学员比单单学习架构理论留下更深刻的印象，也会在实际的工作中更有应用性和可操作性。

课程主要关注于如何以领域驱动设计(DDD)为核心，设计并开发一套企业级应用开发的架构模型(Architectural Model)的关键部件。对于分层架构中各层所出现的DDD概念及工具，提供实际设计思路以及实现代码。

数据架构建设,数据资产管理,数据治理等

本课程以UML与用例厘清OOA&D的要点,使学员能充分理解其中的精髓。课程以易于理解的简单实例，以紧凑的节奏，讲述为什么要实现OOA&D。