课程特色
基于以上时代背景尹老师专门总结了此课程,帮助学员提升大数据处理技能,学会如何建设大数据系统,并支持相关应用开发。本课程重点讲解应用如何支持大数据相关操作、MySQL分布式数据库应用、数据库的水平拆分、垂直拆分、解决亿万级数据量的实际问题、建设大数据系统,并支持相关应用开发等。
培训目标
1、 应用如何支持大数据相关操作;
2、 MySQL分布式数据库应用;
3、 数据库的水平拆分、垂直拆分;
4、 解决目前部分系统(已经达到亿万级数据量)的实际问题;
5、 使得主要核心人员能够设计、建设大数据系统,并支持相关应用开发。
培训对象
1、 本课程适合于即将投身于大数据领域的企业或者个人;
2、 本课程适合于开发人员、系统架构师、高级程序员、资深开发人员;
3、 本课程适合于企业IT技术优化的人员;
4、 政府机关,金融保险、移动互联网、能源行业等相关技术人员;
5、 高校、科研院所统计分析研究员,涉及到数据处理的人员;
培训方式
以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。
课程大纲
时间 | 内容 | 备注 |
第一天 | 第1个主题: 应用如何支持大数据相关操作(介绍应用如何支持大数据相关操作的场景)(60分钟) 1、 企业业务需求 2、 高并发、低延迟 3、 亿万级数据量 4、 架构层面解决方案 5、 MySQL Cluster分布式架构 6、 分表 7、 分库 8、 NoSQL数据库 9、 微服务架构 10、 大数据架构
第2个主题: 数据库分表分库(深入介绍数据库分表分库)(60分钟) 1、 数据量级 2、 分表分库的使用 3、 切分 4、 分片规则 5、 纵向切分/垂直切分 6、 横向切分/水平切分 7、 分库分表 8、 读写分离 9、 解决数据存储和业务规模数据瓶颈问题 10、 分表分库的作用和特点 11、 分表分库的适用场景 12、 分表分库的企业应用案例
第3个主题: 数据库分表分库应用及实战(深入介绍分表分库的使用与实践)(60分钟) 1、 MySQL分表分库的使用 2、 MySQL分表 3、 按时间戳、地域、业务分表 4、 MySQL分库 5、 按时间戳、地域、业务分库 6、 MySQL分表分库开发实践 7、 MySQL分表分库开发调试 8、 MySQL分表分库优化 9、 MySQL业务功能实现剖析
第4个主题: MySQL Cluster分布式架构原理(介绍MySQL Cluster分布式架构原理)(60分钟) 1、 什么是分布式MySQL Cluster 2、 MySQL Cluster发展现状与趋势 3、 MySQL Cluster分布式概念 4、 MySQL Cluster分布式架构原理 5、 MySQL Cluster分布式架构图 6、 MySQL Cluster架构剖析 7、 NDB Cluster存储引擎 8、 MySQL Cluster分布式实现MySQL协议服务器 9、 无共享体系结构 10、 管理(MGM)节点 11、 数据节点 12、 SQL节点 13、 标准MySQL客户端 14、 MySQL Cluster应用场景 15、 MySQL原生协议 16、 JDBC协议 17、 标准的SQL语句 18、 使用MySQL Cluster的优势 19、 数据库-Schema 20、 数据表-Table 21、 默认端口 22、 数据主机 23、 数据节点 24、 解决数据存储和业务规模数据瓶颈问题 25、 MySQL Cluster的作用和特点 26、 MySQL Cluster的适用场景 27、 MySQL Cluster的企业应用案例 28、 案例分享:MySQL Cluster在电商平台中的应用
第5个主题: MySQL Cluster集群搭建与安装配置(详细介绍MySQL Cluster搭建与安装配置)(60分钟) 1、 MySQL Cluster部署架构介绍 2、 MySQL Cluster部署规划 3、 MySQL Cluster安装部署 4、 MySQL Cluster集群配置详解 5、 MySQL Cluster客户端 6、 MySQL Cluster监控服务
第6个主题: 数据冷热分离(介绍数据库数据冷热分离,解决部分系统已经达到亿万级数据量的实际问题)(60分钟) 1、 数据冷热分离 2、 数据冷热分离数据分类 3、 历史久远数据 4、 业务不使用数据 5、 冷数据备份 6、 频繁访问的数据 7、 频繁读写的数据 8、 热数据 9、 数据缓存cache 10、 NoSQL内存数据库 11、 Redis简介 12、 RedisCluster简介 13、 Redis的适用场景 | |
时间 | 内容 | 备注 |
第二天 | 第7个主题: 微服务架构(详细介绍微服务架构)(90分钟) 1、 什么是微服务架构 2、 微服务架构使用的业务场景 3、 微服务架构原理 4、 微服务架构的应用 5、 微服务架构设计的原则 6、 微服务架构软件开发方式
第8个主题: 微服务架构设计的原则(详细介绍微服务架构)(90分钟) 1、 业务需求分析 2、 如何搭建微服务架构? 3、 微服务架构参考图 4、 微服务架构的工作流程 5、 微服务软件架构体系 6、 微服务硬件架构体系 7、 微服务部署架构 8、 业务模块划分 9、 基于服务化的系统模块扩缩容技术 10、 扩缩技术 11、 线性扩容 12、 容量规划 13、 基于服务化的高可用性技术 14、 服务化架构中的高可用性设计方案、原则及最佳实践 15、 高内聚松偶合 16、 模块灵活组装 17、 SSO单点登录 18、 凭证与鉴权 19、 服务化接口的设计原则 20、 服务化接口框架:服务接口发现、认证、版本管理; 21、 服务化接口安全、编码和序列化方式 22、 服务化接口的承载协议分析:Restful over HTTP(s) 1.1/2.0 等 23、 REST API框架 24、 面向对象设计的SOLID原则 25、 分布式事务一致性思考 26、 微服务架构构建 27、 REST 28、 微服务快速弹性 29、 高并发 30、 微服务数据特征 31、 案例:剖析如何对大型复杂系统进行微服务化 32、 案例:剖析电商的微服务架构案例
第9个主题: 如何设计分布式架构?(本主题强调一个好的分布式系统离不开真实的业务需求)(90分钟) 1、 深入分析企业业务数据特点 2、 分布式开发思想的应用 3、 事务剖析 4、 分布式事务剖析 5、 分布式系统的职责分离思想 6、 分布式开发 7、 大数据+简单算法 8、 精准小数据+复杂算法
第10个主题: 大数据架构设计(介绍大数据架构设计需要遵循原则与设计技巧)(90分钟) 1、 CAP理论 2、 BASE思想 3、 RWN理论 4、 日志结构文件系统 5、 分布式系统迁移策略 a) 数据迁移 b) 计算迁移 6、 冷热分离原则 7、 算法优化策略 a) 读取+计算+显示 b) 读取+显示 8、 数据序列化 9、 RESTful架构剖析 10、 分布式框架:Hadoop、HDFS、MapReduce、HBase、Spark、Flink、MySQL Cluster、Kafka 11、 分布式数据库:分布式关系型数据库、分布式NoSQL数据库 12、 分布式平台 13、 分布式开发 14、 分布式应用 15、 中心化分布式架构 16、 去中心化分布式架构 17、 各自的优劣势 18、 应用场景,大数据场景、云计算场景、微服务架构 19、 分布式存储框架HDFS、MySQL Cluster、HBase 20、 分布式计算框架MapReduce、Spark、Flink 21、 分布式内存框架Spark、HBase 22、 分布式算法框架SparkML、TenserFlow 23、 分布式批处理企业应用实践案例分享 |