课程介绍
随着互联网的快速普及、移动智能设备的快速发展,很快步入了大数据时代,大量的网站或应用每天要处理海量的数据,这些数据的查看与访问则成为重大问题,因为数据量巨大,想要找到自己所关注的数据是比较困难的,面对这样的问题,则需要有一个好用的数据开发工具。本课程重点讲解数据IDE的开发、使用、优化,以及如何处理大数据。
课程目标
1、 使学员理解数据IDE开发的核心技术实现原理;
2、 目前主流数据IDE开发的详解;
3、 数据IDE开发的落地案例详解;
4、 使学员学会使用企业级数据IDE,包括建库、检索策略、技术架构、部署、运维等方面;
5、 使学员具备部署、优化企业级数据IDE开发的集群的能力;
6、 使学员具备使用企业级数据IDE开发的处理大数据的能力;
课程对象
1、 即将投身于大数据、数据IDE开发的企业或者个人;
2、 大型集团公司、大型网站、电商网站等数据相关人员;
3、 数据分析、大数据从业者;
4、 牵涉到数据分析运维、规划、设计负责人;
5、 政府机关,金融保险、移动互联网、能源行业等数据分析相关人员;
6、 高校、科研院所数据分析研究员,涉及到数据分析的人员;
课程方式
以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。
课程大纲
时间 | 内容 | 备注 |
第一天 |
第1个主题: 数据IDE开发的核心技术实现原理(数据IDE开发的核心技术实现原理)(60分钟) 1、 数据IDE开发的核心技术实现原理 2、 数据IDE开发的总体介绍 3、 数据源 4、 数据的获取、筛选、连接、转换等 5、 数据处理函数 6、 统计分析 7、 数理统计、概率论 8、 统计分析函数 9、 数据可视化 10、 机器学习算法 11、 人工智能算法 12、 数据仓库 13、 商务智能 14、 报告撰写与发布 15、 具体落地技术 16、 鼠标拖拽技术 17、 脚本开发能力 18、 全文检索系统 19、 数据IDE开发的核心技术架构 20、 数据IDE开发的高并发 21、 分布式技术 22、 大数据技术 23、 数据IDE开发的核心技术实现原理 24、 数据IDE开发的应用场景 25、 案例分享:数据IDE开发的案例剖析
第2个主题: 企业级数据IDE开发的技术架构(企业级数据IDE开发的技术架构)(30分钟) 1、 企业级数据IDE开发的技术架构 2、 数据IDE开发的技术架构 3、 企业级数据IDE开发的数据收集 4、 企业级数据IDE开发的结构化数据 5、 企业级数据IDE开发的全文检索技术 6、 企业级数据IDE开发的架构设计 7、 企业级数据IDE开发的技术选型 8、 企业级数据IDE开发的部署架构设计 9、 企业级数据IDE开发的高并发设计 10、 企业级数据IDE开发的监控系统 11、 企业级数据IDE开发的系统运维 12、 企业级数据IDE开发的数据安全与隐私
第3个主题: 目前主流数据IDE详解(目前主流数据IDE详解)(30分钟) 1、 目前主流数据IDE详解 2、 Tableau 3、 PowerBI 4、 SPSS 5、 Oracle Pl/SQL 6、 Navcat
第4个主题: 数据IDE开发的落地案例(数据IDE开发的落地案例)(30分钟) 1、 数据IDE开发的落地案例 2、 数据IDE开发的需求剖析 3、 数据IDE开发的架构设计 4、 数据IDE开发的架构方案 5、 数据IDE开发的技术特点 6、 数据IDE开发的环境搭建 7、 数据IDE开发的安装部署
第5个主题: 数据IDE的数据源(数据IDE的数据源)(60分钟) 1、 数据IDE的数据源 2、 数据源类型 3、 Excel、文本、CSV、JSON、MySQL、Oracle、Hadoop、MongoDB等 4、 数据的获取、筛选、连接、转换、探索等 5、 维度和度量 6、 业务场景介绍 7、 维度和度量在业务场景的应用 8、 数据血缘 9、 应用实践
第6个主题: 数据IDE的的数据类型(数据IDE的的数据类型)(30分钟) 1、 数据IDE的的数据类型 2、 字符串数据类型 3、 数字数据类型 4、 布尔数据类型 5、 日期/日期时间 6、 数据IDE的数据类型在业务场景的应用
第7个主题: 数据IDE的运算符(数据IDE的运算符)(30分钟) 1、 数据IDE的运算符 2、 算术运算符 3、 逻辑运算符 4、 比较运算符 5、 运算符优先级 6、 数据IDE的运算符在业务场景的应用
第8个主题: 数据IDE的函数(数据IDE的函数)(60分钟) 1、 数据IDE的函数 2、 数字函数 3、 字符串函数 4、 日期函数 5、 类型转换函数 6、 逻辑函数 7、 聚合函数 8、 数据IDE的基础函数在业务场景的应用
| |
时间 | 内容 | 备注 |
第二天 |
第9个主题: 数据IDE的基础操作(数据IDE的基础操作)(60分钟) 1、 数据IDE的基础操作 2、 创建字段 3、 创建参数 4、 创建函数 5、 聚合计算 6、 缺失值处理 7、 创建工作表 8、 业务场景介绍 9、 在业务场景中创建工作表 10、 导出工作表 11、 业务场景介绍 12、 在业务场景中导出工作表
第10个主题: 数据可视化(数据可视化)(60分钟) 1、 数据可视化 2、 可视化探知 3、 可视化展示 4、 标准图形 5、 创建图形 6、 文本图 7、 热力图 8、 地图 9、 饼图 10、 条形图 11、 堆叠柱形图 12、 并列柱形图 13、 树状图 14、 拆线图 15、 堆叠面积图 16、 柏拉图 17、 散点图 18、 直方图 19、 盒须图 20、 甘特图 21、 气泡图
第11个主题: 数理统计算法实现(数理统计算法实现)(60分钟) 1、 数理统计算法实现 2、 统计学 3、 概率论 4、 线性代数 5、 统计分析 6、 假设检验
第12个主题: 机器学习算法实现(机器学习算法实现)(120分钟) 1、 机器学习发展史 2、 机器学习的应用场景介绍 3、 机器学习现有的问题 4、 机器学习的未来前景 5、 机器学习的分类 6、 机器学习的整体流程 7、 机器学习算法 8、 k近邻算法 9、 决策树模型 10、 支持向量机SVM原理 11、 贝叶斯算法 12、 线性回归算法 13、 非线性回归 14、 逻辑回归算法 15、 Kmeans聚类算法 16、 DBSCAN聚类算法 17、 降维算法 18、 随机森林与集成算法 19、 时间序列分析 20、 XGBOOST算法 21、 关联规则分析与实现 22、 推荐系统 23、 深度学习 24、 神经网络 25、 卷积神经网络 26、 循环神经网络 27、 对抗神经网络
第13个主题: 报告撰写(报告撰写)(60分钟) 1、 报告撰写 2、 报表 3、 报告发布服务器 4、 生成HTML 5、 嵌入Office办公软件
第14个主题: 具体落地技术(具体落地技术)(60分钟) 1、 具体落地技术 2、 鼠标拖拽技术 3、 数据可视化技术 4、 ECharts 5、 Scklean框架 6、 TensorFlow框架 7、 脚本功能 8、 Python语言 9、 R语言
第15个主题: 数据IDE集成R语言(R语言与数据IDE的集成)(30分钟) 1、 R语言概述 2、 R语言语法介绍 3、 R语言绘图函数 4、 R语言高级绘图函数
第16个主题: 数据IDE集成Python语言(Python语言与数据IDE的集成)(30分钟) 1、 Python语言概述 2、 Python语言语法介绍 3、 Python语言绘图函数 4、 Python语言高级绘图函数
|