课程背景
在安全专项的推动下,目前已经在进行AIOPS系统运维建设。但是在建设过程中,我们遇到了很多的问题,比如,现在系统日志多样化、日志数据无语义等问题;运维有哪些场景可以实现自愈;对于运维,哪些机器学习可以更好的用于实践。对于这些问题,我们在做的过程中,也想知道行业是怎么做的,但可惜的是,AIOPS刚起步,还没有完全的案例可参考。因此,希望能能过过外部培训,来促进运维建设。
课程介绍
人工智能是一门极富挑战性的科学,从事这项工作的人必须懂得计算机知识、心理学和哲学。人工智能是包括十分广泛的科学,它由不同的领域组成,如机器学习,计算机视觉等等,总的说来,人工智能研究的一个主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。
随着大数据时代的快速到来,以及大数据在生产生活中迅速应用,数据分析、数据建模、数据挖掘、人工智能等重要性越发突出,本课程是针对大数据时代的特点,尹老师总结多年产品经理的经验,结合人工智能特点,为大家呈现了人工智能产品设计、运营方面的精彩课程。
课程目标
1、 使学员深入理解AIOps的整体介绍、框架体系、应用场景、关键技术、具体实施;
2、 介绍智能运维数据收集、数据预处理、数据分析、数据挖掘、数据可视化应用等;
3、 介绍数据中心监控与管理、威胁检测、数据中心运维;
4、 在系统日志多样化、日志数据无语义等问题如何推动AIOps的建设;
5、 运维有哪些场景可以实现AIOps自愈;哪些场景可以实现自愈,需要什么样的环境支撑;
6、 对于AIOps运维,哪些机器学习可以更好的用于实践;
7、 AIOps行业案例分享,结合实例对于各式各样的系统,如何去做好日志建模,日志需要满足什么条件,需要提供有效信息。
8、 AIOps可以为运维实现哪些功能,行业是如何将监控与AIOps自愈结合起来的,比如AI故障诊断、智能推荐解决方案、智能告警、系统健康评估、智能问题等应用;
9、 AI技术在运维中哪些场合建议使用,哪些场合不建议使用,需要注意什么?
10、 AIOps建设的关键点和难点在哪里?如何规划建设历程?
课程对象
产品经理、系统架构师、系统分析师、高级程序员、资深开发人员等人工智能相关人员;
课程方式
以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。
课程大纲
时间 | 内容 | 备注 |
第一天 | 第1个主题: 智能运维AIOps的建设(AIOps的AIOps的建设)(50分钟) 1、 AIOps介绍 2、 AIOps框架体系 3、 AIOps应用场景 4、 AIOps关键技术 5、 AIOps具体实施
第2个主题: 智能运维AIOps的整体介绍(AIOps的整体介绍)(50分钟) 1、 在系统日志多样化、日志数据无语义等问题如何推动AIOps的建设; 2、 运维有哪些场景可以实现AIOps自愈; 3、 哪些场景可以实现自愈,需要什么样的环境支撑; 4、 对于AIOps运维,哪些机器学习可以更好的用于实践; 5、 AIOps行业案例分享,结合实例对于各式各样的系统,如何去做好日志建模,日志需要满足什么条件,需要提供有效信息。 6、 AIOps可以为运维实现哪些功能,行业是如何将监控与AIOps自愈结合起来的,比如AI故障诊断、智能推荐解决方案、智能告警、系统健康评估、智能问题等应用; 7、 AI技术在运维中哪些场合建议使用,哪些场合不建议使用,需要注意什么? 8、 AIOps建设的关键点和难点在哪里?如何规划建设历程?
第3个主题: 人工智能概述(介绍人工智能的渊源及范围)(50分钟) 1、 人工智能应用场景:AlphaGo对弈世界围棋冠军 2、 人工智能的历史 3、 人工智能的概括 4、 大数据概述 5、 智能信息 6、 物联网 7、 什么是人工智能 8、 人工智能的概念 9、 人工智能的基础 10、 对智慧、知识和人类技能的态度 11、 人工智能的应用领域 12、 人工智能发展水平及趋势 13、 人工智能当前发展水平 14、 人工智能未来趋势预测 15、 人工智能发展的最终目标 16、 人工智能的国际主要流派和发展路线 17、 人工智能的国内研究情况 18、 弱人工智能 19、 强人工智能 20、 机器学习介绍 21、 深度学习介绍 22、 神经网络介绍 23、 案例场景:智能运维AIOps企业应用案例 24、 案例场景:电商平台智能运维AIOps企业应用案例
第4个主题: 人工智能(AI)大趋势剖析(分析人工智能的发展大趋势)(50分钟) 1、 弱人工智能 2、 强人工智能 3、 人工智能大趋势 4、 人工智能的机遇 5、 如何抓住人工智能发展的大趋势 6、 成功人工智能经典案例 7、 案例场景:智能运维AIOps企业应用案例
第5个主题: IT系统运维和基础设施数据(IT系统运维和基础设施数据)(50分钟) 1、 数据从哪儿来 2、 日志、点击流、传感器、网络流量、网页服务器、客户应用、管理程序、社交媒体以及云服务 3、 应用日志 4、 业务流程日志 5、 呼叫详细信息记录 6、 点击流数据 7、 配置文件 8、 数据库审计日志 9、 文件系统审计日志 10、 管理并记录API 11、 消息队列 12、 操作系统度量、状态和诊断命令 13、 数据包/流量数据 14、 SCADA数据 15、 传感器数据 16、 Syslog 17、 Web访问日志 18、 Web代理日志 19、 Windows事件 20、 线上数据
第6个主题: 运维数据收集(运维数据收集)(50分钟) 1、 数据源类型 a) 文件和目录Files and directories b) 网络事件Network events c) Windows数据源Windows sources d) 其他数据源Other sources 2、 IT运维监控 3、 IT运维监控视图 4、 丰富的App和插件 5、 应用交付 6、 IT运营 7、 安全、承诺和反欺诈 8、 商业分析 9、 工业数据和物联网 10、 课堂实操:运维数据收集
第7个主题: 运维异常值处理(运维异常值处理)(50分钟) 1、 预测数值字段 2、 预测分类字段 3、 检测数字异常值 4、 检测分类异常值 5、 时间序列预测分析 6、 对数据类事件进行聚簇 | |
时间 | 内容 | 备注 |
第二天 | 第8个主题: 运维数据可视化(运维数据可视化)(50分钟) 1、 可视化及报告 2、 可视化的类型 3、 表格 4、 图表 5、 饼图、柱状图、线图和区域图、散点和气泡图 6、 单值卡片 7、 仪表 8、 圆形仪表 9、 空白仪表 10、 标记仪表 11、 地图 12、 地区分布图 13、 城市群地图 14、 报表和仪表盘
第9个主题: 运维数据分析(运维数据分析)(50分钟) 1、 数据如何分析 2、 数据提取 3、 强大的SPL语言(Splunk Search Language) 4、 钻取分析 5、 数据钻取 6、 钻取的动作类型 7、 钻取的行为 8、 编辑钻取 9、 索引数据 10、 为机器数据建立索引 11、 搜索、关联、调查 12、 报表与分析 13、 搜索与调查 14、 监视与告警 15、 添加知识 16、 应用场景 17、 日志管理
第10个主题: 高级威胁检测(高级威胁检测)(50分钟) 1、 安全和欺诈 2、 安全神经中心 3、 安全挑战 4、 内部威胁 5、 合规性 6、 欺诈与盗窃行为 7、 用户行为分析 8、 适应响应倡议 9、 高级威胁检测 10、 杀伤链方法论 11、 确定影响和范围 12、 端到端的可视化 13、 内部威胁 14、 合规 15、 欺诈与盗窃 16、 用户行为分析 17、 用户行为分析的主要功能 18、 大数据基础(Hadoop、Spark和GraphDB) 19、 无人监督的机器学习 20、 多维行为基线 21、 自定义威胁生成 22、 用户监控和观察列表 23、 异常抑制与评分 24、 企业安全的双向整合 25、 安全仪表板 26、 对等组分析可视化 27、 开箱即用的分析 28、 用户风险评分和监控 29、 异常类别 30、 异常网络活动、可疑数据移动、异常活动时间 31、 威胁类别 32、 数据泄露、横向移动、受影响帐户、可疑行为 33、 集成事件可视化
第11个主题: 运维数据分布式计算平台(运维数据分布式计算平台)(50分钟) 1、 性能 2、 查询类型如何影响性能 3、 性能度量 4、 先入先出 (FIFO) 队列 5、 脚本输入 6、 模块化输入 7、 Http事件收集器 8、 共享 9、 App体系 10、 App应用 11、 Add-on附加组件 12、 二次开发 13、 Web框架 14、 Simple XML层的工具 15、 Dashboard编辑器 16、 Simple XML 17、 Simple XML 扩展 和HTML Dashboard
第12个主题: 机器学习算法剖析(机器学习算法剖析)(50分钟) 1、 机器学习 2、 机器学习和分析命令 3、 分类算法 a) 决策树 b) 逻辑回归 c) 随机森林 d) SVM向量机 e) BernoulliNB f) GaussianNB g) SGDClassifier h) GradientBoostingClassifier 4、 回归算法 a) DecisionTreeRegressor b) KernelRidge c) LinearRegression d) RandomForestRegressor e) Lasso f) ElasticNet g) Ridge h) SGDRegressor i) GradientBoostingRegressor 5、 特征提取Feature Extraction a) FieldSelector b) TFIDF c) PCA d) KernelPCA 6、 异常检测Anomaly Detectors a) OneClassSVM 7、 聚类算法Clustering Algorithms a) KMeans b) DBSCAN c) Birch d) SpectralClustering 8、 预处理Preprocessing a) StandardScaler 9、 时间序列分析Time Series Analysis a) ARIMA 10、 工具算法Utility Algorithms a) Autocorrelation Function b) Partial Autocorrelation Function
第13个主题: 实际企业智能运维AIOps案例(实际企业智能运维AIOps案例剖析)(50分钟) 1、 Google案例 2、 GE通用 3、 基本信息 4、 用户场景 5、 安全运维 6、 客户端分发、版本跟踪和升级 7、 恶意软件爆发跟踪 8、 漏洞识别和修复 9、 补丁部署跟踪 10、 策略分析 11、 特权用户访问 (Highly Privileged Access/HPA) 12、 针对全球特权用户的访问,集中记录、报表和告警 13、 帮助符合监管 要求,强制合规行为 14、 针对各种操作系统、数据库、文件和应用程序的安全事件提供报表 15、 提供PDF仪表板分发、实时告警、自定义报表控制面板,与工单系统整合集成 16、 有针对的安全报表展现 17、 对高级别主机提供报表和告警设置 18、 定制内部apps应用 19、 漏洞、安全事故和客户单监控状况报表 20、 实时恶意代码景观 21、 可钻取的仪表板
1. 云原生应用 2. 微服务架构 3. DevOps 4. 数据库 5. 文件存储 6. 分布式服务 7. 代码管理 8. 应用发布 9. OpenStack 10. 容器技术 11. Docker 12. 持续集成 |