工业和信息化部电信研究院于2014年5月发布的“大数据白皮书”中指出： “2012 年美国联邦政府就在全球率先推出“大数据行动计划（Big data initiative）”，重点在基础技术研究和公共部门应用上加大投入。在该计划支持下，加州大学伯克利分校开发了完整的大数据开源软件平台“伯克利数据分析软件栈（Berkeley Data Analytics Stack），其中的内存计算软件Spark的性能比Hadoop 提高近百倍，对产业界大数据技术走向产生巨大影响” Spark是成为替代MapReduce架构的大数据分析技术，Spark的大数据生态体系包括流处理、图技术、机器学习等各个方面，并且已经成为Apache顶级项目，可以预计的是2014年下半年到2015年在社区和商业应用上会有爆发式的增长。 国内外一些大型互联网公司已经部署了Spark，并且它的高性能已经得到实践的证明。国外Yahoo已在多个项目中部署Spark，尤其在信息推荐的项目中得到深入的应用；国内的淘宝、爱奇异、优酷土豆、网易、baidu、腾讯等大型互联网企业已经将Spark应用于自己的生产系统中。国内外的应用开始越来越广泛。Spark正在逐渐走向成熟，并在这个领域扮演更加重要的角色。

大数据平台的发展,大数据的整体技术架构,大数据应用场景等

本课程理论和实战相结合，能够通过实践学习Flink的核心知识点和应用场景；课程的最大亮点是“Flink实时数据仓库项目实战”模块，通过真实的实时数仓项目，帮助学员能够快速进入Flink项目的开发。

随着网络与信息技术的高速发展，软件研发逐渐朝着大规模、高复杂度的大型软件系统发展。特别是随着近几年互联网的高速发展，带动着全行业的互联网转型，使得未来的软件系统还将向着持续性、深层次架构调整的方向发展。在这样的背景下，如何从全局的角度思考软件系统方方面面的问题，提前识别软件项目的技术风险点，并有针对性地制订技术方案，以及如何构建一个更加灵活、易于调整、快速变化的软件系统，成为大型软件系统至关重要的设计内容。 本课程首先将系统地讲述高质量的软件架构该设计过程，包括如何运用领域驱动设计的思想贯穿整个架构设计，又如何使软件系统在衍变中调整架构，从而适应需求的变化；如何运用5视图的方法，全面地思考软件架构各方面的问题：从需求的角度进行可行性分析；从全局的角度进行软件分层、技术选型、模块划分等方面的设计；运用数据持久化的方式设计数据结构；运用“属性->场景->决策”的过程把握非功能设计；从部署、网络、性能的角度进行物理架构的设计，从而有效避免架构设计时遗漏关键风险点，使架构设计过程变得有序。 接着，本课程从高并发、大数据、高可靠3个方面入手，讲解了大型互联网分布式应用系统是如何从容应对数以亿计的用户并发访问、海量业务数据的性能压力，如何设计高效而稳定的软件架构。课程由浅入深、层层推进、从各个层面逐步介绍了，在不同用户压力环境下，架构设计各个环节可能遇到的性能问题，可以采用的技术，这些技术的基本原理与解决思路，以及相关互联网应用的具体案例。通过这些案例的讲解，可以为学员日后的架构设计开阔思路、加深认识。

近些年，随着互联网的不断发展，越来越多的系统需要建设在互联网上，应对高并发、大数据的严苛运营环境。在这种运营环境中，采用传统的集中式系统架构越来越不能使用未来的发展，整个产业开始向分布式系统转型。然而，在分布式系统转型过程中，有许许多多的分布式技术千差万别，并且要按不同场景去运用不同的分布式技术。本课程通过梳理，帮助学员理清，在大型分布式系统中如何运用各种分布式技术，解决什么问题。 首先，分布式系统按照功能分为生产型与分析型两类系统，它们通过读写分离的技术整合在一起。生产型分布式系统未来的发展趋势就是基于云端的微服务架构。微服务架构将复杂系统化整为零，拆分成一个一个的微服务，部署在云端进行快速地横向扩展与收缩。然后，将庞大的开发团队拆分成一个一个的独立功能分布式团队，去维护各自的微服务。采用微服务架构降低了团队沟通的成本，降低了系统维护的复杂度，更降低了系统发布的周期，使得我们可以快速交付、快速应对市场需求。 但是，微服务应当如何架构？它有哪些技术特点与技术难点？本课程将会用许多的真实案例讲解，什么是微服务，如何用微服务架构我们的系统，并用工作坊的形式，实际带领学员去架构微服务，在动手中获得知识。

基于开源大数据平台数据分析和挖掘实训课程，该是一个理论与实践相结合的课程，阐述大数据主流的系统架构，数据分析。 本课程包含了开源大数据常用的技术Spark、Hbase和 Flink常用的技术。