本课程聚焦大数据架构师核心能力培养，覆盖大数据全链路技术体系与主流架构演进，助力学员快速建立全局架构视野、掌握技术选型逻辑、提升企业级平台落地能力。 课程遵循大数据全生命周期脉络，从数据采集、存储、计算、分析、检索调度到数据仓库架构演进，系统讲解数据采集、离线计算、实时计算、数据湖、流存储、批流/湖仓 /湖流一体化等主流技术；通过多组件横向对比、核心原理拆解、实战案例演练，打通从技术理解到架构设计的关键能力。

首先从大数据生态圈层面对大数据中的核心技术栈和典型架构案例进行分析，帮助学员快速理解并构建大数据生态体系架构。 然后通过大数据中最核心的Hadoop技术组件入手，了解并掌握大数据中的海量数据分布式存储和海量数据分布式计算功能。 接着按照数据的生产流程，引入大数据中的海量数据采集存储、海量数据分析和海量数据计算等模块的内容，帮助我们更好的管理数据和使用数据。 最后将前面涉及到的实时数据计算分析相关的组件打通，融合到一起，帮助企业从0~1快速构建实时数据计算分析平台。

1 数据采集框架分析 2 数据计算框架分析 3 数据存储框架分析 4 数据分析框架分析 5 数据检索矿建分析 6 大数据周边框架

本课程主要讲解Kafka核心原理及使用、Flink的核心设计原理、实时计算、SQL计算等使用场景，同时通过实战案例与实际业务的场景相结合，让学员轻松掌握Kafka和Flink在实时计算领域的实际应用。

本课程主要讲解Kafka核心原理及使用、Flink的核心设计原理、实时计算、SQL计算等使用场景，同时通过实战案例与实际业务的场景相结合，让学员轻松掌握Kafka和Flink在实时计算领域的实际应用。

本课程主要讲解Flink的核心设计原理，实时计算，SQL计算等使用场景，同时通过实战案例与实际业务的场景相结合，让学员轻松掌握Flink在实时计算领域的独特魅力。 本次课程的代码实现以 Scala语言为主，配套有Java语言代码实现，要求学员至少具备Java基础，讲师会提供培训过程中用到的项目代码（Scala实现和Java实现）。