4006-998-758
3000+课程任你选择
应用如何支持大数据相关操作
研发学院 体系架构设计 产品经理 开课时间:2021-07-03
尹立庆

多年从事容器技术、云计算、物联网研发工作经验。北航移动云计算硕士。Cloudera大数据认证(图1),项目管理师(PMP)认证(图2),主要研究方向包括容器技术、云计算、物联网、项目管理等;曾就职于阿里等互联网企业,IBM、华为等知名大型企业,现任某大型知名互联网企业首席架构,负责容器技术、云计算、物联网、PaaS平台研发工作。

IT从业近二十年,秉承理论与实践相结合,在学习中实践,在实践中学习,积累了丰富的理论与实践经验,并且乐于将自己的经验分享。尹老师具有敏锐的目光与头脑,发现并集成整合社会资源,为企业节省资源并创造价值,达到为合作伙伴创收的目的。曾为多家国内知名企业提供培训与咨询,包含阿里集团、华为、中国移动、中国电信、中国联通、当当网、中石油、中石化、中国电网、中国银行、中国工商银行、浦发银行、阿尔卡特朗讯、中航国际等。拥有云计算、物联网、大流量、高并发、分布式的大型网站架构和设计经验。曾主导过多个云计算、物联网、私有云、公有云建设项目,早些年也主导过ERP、CMS等软件项目,积累了丰富的实践经验,这些项目中包含多个数百万、上千万的大型项目。项目经历:呼叫中心人工智能客服研发项目、贵州省政府云呼叫中心建设项目、广东发展银行电营、运维大数据分析项目、中石油工程设计西南分公司云计算项目评审委员、中石油大数据挖掘项目,电商库存预测大数据分析项目、大型ERP、电子商务、CRM、电子政务等多个项目。


查看老师详情
课程内容















课程特色


随着互联网的快速普及,以及大数据在生产生活中迅速应用,企业业务出现高并发、低延时、大数据存储等的问题,如何应对业务出现的高并发、低延时、大数据存储等挑战?这些挑战是大多数企业当前急需解决的问题。面对这些问题需要从软硬件架构层面提出系统性的解决方案,仅从代码优化层面无法满足业务量增长的需求。

基于以上时代背景尹老师专门总结了此课程,帮助学员提升大数据处理技能,学会如何建设大数据系统,并支持相关应用开发。本课程重点讲解应用如何支持大数据相关操作、MySQL分布式数据库应用、数据库的水平拆分、垂直拆分、解决亿万级数据量的实际问题、建设大数据系统,并支持相关应用开发等。

 

培训目标


1、 应用如何支持大数据相关操作;

2、 MySQL分布式数据库应用;

3、 数据库的水平拆分、垂直拆分;

4、 解决目前部分系统(已经达到亿万级数据量)的实际问题;

5、 使得主要核心人员能够设计、建设大数据系统,并支持相关应用开发。

 

培训对象 


1、 本课程适合于即将投身于大数据领域的企业或者个人;

2、 本课程适合于开发人员、系统架构师、高级程序员、资深开发人员;

3、 本课程适合于企业IT技术优化的人员;

4、 政府机关,金融保险、移动互联网、能源行业等相关技术人员;

5、 高校、科研院所统计分析研究员,涉及到数据处理的人员;

 

培训方式 


以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用


课程大纲


时间

内容

备注

一天

第1个主题: 应用如何支持大数据相关操作(介绍应用如何支持大数据相关操作的场景(60分钟

1、 企业业务需求

2、 高并发、低延迟

3、 亿万级数据量

4、 架构层面解决方案

5、 MySQL Cluster分布式架构

6、 分表

7、 分库

8、 NoSQL数据库

9、 微服务架构

10、 大数据架构

 

第2个主题: 数据库分表分库(深入介绍数据库分表分库)(60分钟

1、 数据量级

2、 分表分库的使用

3、 切分

4、 分片规则

5、 纵向切分/垂直切分

6、 横向切分/水平切分

7、 分库分表

8、 读写分离

9、 解决数据存储和业务规模数据瓶颈问题

10、 分表分库的作用和特点

11、 分表分库的适用场景

12、 分表分库的企业应用案例

 

第3个主题: 数据库分表分库应用及实战(深入介绍分表分库的使用与实践)(60分钟

1、 MySQL分表分库的使用

2、 MySQL分表

3、 按时间戳、地域、业务分表

4、 MySQL分库

5、 按时间戳、地域、业务分库

6、 MySQL分表分库开发实践

7、 MySQL分表分库开发调试

8、 MySQL分表分库优化

9、 MySQL业务功能实现剖析

 

第4个主题: MySQL Cluster分布式架构原理(介绍MySQL Cluster分布式架构原理)(60分钟

1、 什么是分布式MySQL Cluster

2、 MySQL Cluster发展现状与趋势

3、 MySQL Cluster分布式概念

4、 MySQL Cluster分布式架构原理

5、 MySQL Cluster分布式架构图

6、 MySQL Cluster架构剖析

7、 NDB Cluster存储引擎

8、 MySQL Cluster分布式实现MySQL协议服务器

9、 无共享体系结构

10、 管理(MGM)节点

11、 数据节点

12、 SQL节点

13、 标准MySQL客户端

14、 MySQL Cluster应用场景

15、 MySQL原生协议

16、 JDBC协议

17、 标准的SQL语句

18、 使用MySQL Cluster的优势

19、 数据库-Schema

20、 数据表-Table

21、 默认端口

22、 数据主机

23、 数据节点

24、 解决数据存储和业务规模数据瓶颈问题

25、 MySQL Cluster的作用和特点

26、 MySQL Cluster的适用场景

27、 MySQL Cluster的企业应用案例

28、 案例分享:MySQL Cluster电商平台中的应用

 

第5个主题: MySQL Cluster集群搭建与安装配置(详细介绍MySQL Cluster搭建与安装配置)(60分钟

1、 MySQL Cluster部署架构介绍

2、 MySQL Cluster部署规划

3、 MySQL Cluster安装部署

4、 MySQL Cluster集群配置详解

5、 MySQL Cluster客户端

6、 MySQL Cluster监控服务

 

第6个主题: 数据冷热分离(介绍数据库数据冷热分离,解决部分系统已经达到亿万级数据量的实际问题)(60分钟

1、 数据冷热分离

2、 数据冷热分离数据分类

3、 历史久远数据

4、 业务不使用数据

5、 冷数据备份

6、 频繁访问的数据

7、 频繁读写的数据

8、 热数据

9、 数据缓存cache

10、 NoSQL内存数据

11、 Redis简介

12、 RedisCluster简介

13、 Redis适用场景

14、 Redis的企业应用案例


时间

内容

备注

第二

第7个主题: 微服务架构(详细介绍微服务架构)(90分钟

1、 什么是微服务架构

2、 微服务架构使用的业务场景

3、 微服务架构原理

4、 微服务架构的应用

5、 微服务架构设计的原则

6、 微服务架构软件开发方式

 

第8个主题: 微服务架构设计的原则(详细介绍微服务架构)(90分钟

1、 业务需求分析

2、 如何搭建微服务架构?

3、 微服务架构参考图

4、 微服务架构的工作流程

5、 服务软件架构体系

6、 服务硬件架构体系

7、 服务部署架构

8、 业务模块划分

9、 基于服务化的系统模块扩缩容技术

10、 扩缩技术

11、 线性扩容

12、 容量规划

13、 基于服务化的高可用性技术

14、 服务化架构中的高可用性设计方案、原则及最佳实践

15、 内聚松偶合

16、 模块灵活组装

17、 SSO点登录

18、 凭证与鉴权

19、 服务化接口的设计原则

20、 服务化接口框架:服务接口发现、认证、版本管理;

21、 服务化接口安全、编码和序列化方式

22、 服务化接口的承载协议分析:Restful over HTTP(s) 1.1/2.0 等

23、 REST API框架

24、 面向对象设计的SOLID原则

25、 分布式事务一致性思考

26、 微服务架构构建

27、 REST

28、 服务快速弹性

29、 并发

30、 服务数据特征

31、 案例剖析如何对大型复杂系统进行微服务化

32、 案例剖析电商的微服务架构案例

 

 

第9个主题: 如何设计分布式架构?(本主题强调一个好的分布式系统离不开真实的业务需求)90分钟

1、 深入分析企业业务数据特点

2、 分布式开发思想的应用

3、 事务剖析

4、 分布式事务剖析

5、 分布式系统的职责分离思想

6、 分布式开发

7、 大数据+简单算法

8、 精准小数据+复杂算法

 

第10个主题: 大数据架构设计(介绍大数据架构设计需要遵循原则与设计技巧)90分钟

1、 CAP理论

2、 BASE思想

3、 RWN理论

4、 日志结构文件系统

5、 分布式系统迁移策略

a) 数据迁移

b) 计算迁移

6、 冷热分离原则

7、 算法优化策略

a) 读取+计算+显示

b) 读取+显示

8、 数据序列化

9、 RESTful架构剖析

10、 分布式框架:Hadoop、HDFS、MapReduce、HBase、Spark、Flink、MySQL Cluster、Kafka

11、 分布式数据库:分布式关系型数据库、分布式NoSQL数据库

12、 分布式平台

13、 分布式开发

14、 分布式应用

15、 中心化分布式架构

16、 去中心化分布式架构

17、 各自的优劣势

18、 应用场景,大数据场景、云计算场景、微服务架构

19、 分布式存储框架HDFS、MySQL Cluster、HBase

20、 分布式计算框架MapReduce、Spark、Flink

21、 分布式内存框架Spark、HBase

22、 分布式算法框架SparkML、TenserFlow

23、 分布式批处理企业应用实践案例分享



返回上一级