4006-998-758
3000+课程任你选择
Python应用定制
研发学院 体系架构设计 产品经理 开课时间:2021-07-04
俞阳

毕业于上海交通大学,IT从业十五年,曾就职于微软、苏宁、平安等大型公司,秉承理论与实践相结合,在学习中实践,在实践中学习,积累了丰富的理论与实践经验,指导学生真正从实践中学到、体会到。

参与主导过大流量、高并发、分布式的大型网站架构(Java Spring Cloud、Redis集群、MySQL集群),参与架构多个私有云建设项目,大型数据仓库建设(Hadoop、Spark、Flink、Kafka、ClickHouse),人工智能平台( Tensorflow, Pytorch )。


查看老师详情
课程内容


课程大纲


一、第一部分  基础

日程

培训模块

培训内容

第一天上午

Python基础(一)

1. Python发展史及当今互联网应用;

2. Python语言介绍及特性介绍;

3. Python著名项目及语言优势;

4. Python语言2.X及3.X介绍;

5. 开发环境安装及virtualenv环境安装;

6. 虚拟环境应用及组建部署;

7. Python字符串、数字处理;

8. Python字符串方法;

9. Python列表与元组特性;

第一天下午

Python基础(二)

10. Python列表与元组方法应用;

11. Python语句、变量、内置数据结构;

12. Python流程语句;

13. Python循环语句;

14. break、continue、pass语句;项目实践:

15. Python开发环境安装、调试、及软件安装;

16. 编写小游戏,体验巩固python语法,了解python语法灵活性,区分去其他语言。

第二天上午

Python编程风格

1. PEP8编程及代码格式化;

2. Python模块使用及使用方法;

3. Python包应用;

4. OS、sys、random、time等常用模块使用及项目应用;

5. Python函数定义及函数书写规范;

6. Python常规参数、列表参数、字典参数;

7. Python函数嵌套及函数封装;

8. lambda函数使用;

9. Python列表推导式;

10. Python递归;

11. Python实现常见算法;

12. Python文件操作及with语句;项目实践:

13. 编写系统脚本,实现面向过程及函数封装;

14. 实现rot13算法。

第二天下午

Python编程

1. Python OOP思想;

2. Python面向对象编程;

3. 类基本方法;

4. 实例绑定及slef工作原理;

5. Python构造函数与析构函数应用;

6. Class继承与重写;

7. Python与数据库;

8. 以数据库驱动的应用程序;

9. MySQLdb模块与并发数据插入;

项目实践:

10. 将系统文件按照规则存人数据库,实现批量操作、实现数据库表的设计和程序操作数据库、训练构造函数与析构函数、类方法的应用及编写;

11. 编写学校成员面向对象程序,实现继承、封装、方法重写。

 

二、   Python数据分析

目的:掌握数据集结构及基本处理方法,进一步巩固Python语言

1、 数据挖掘常用扩展库介绍

      Numpy数组处理支持

      Scipy矩阵计算模块

      Matplotlib数据可视化工具库

      Pandas数据分析和探索工具

      StatsModels统计建模库

      Scikit-Learn机器学习库

      Keras深度学习(神经网络)库

      Gensim文本挖掘库

2、 数据集读取与操作:读取、写入

      读写文本文件

      读写CSV文件

      读写Excel文件

      从数据库获取数据集

3、 数据集的核心数据结构(Pandas数据结构)

      DataFrame对象及处理方法

      Series对象及处理方法

      演练:用Python实现数据的基本统计分析功能

4、 常用的Python作图库

      Matplotlib库

      Pygal库

5、 实现分类汇总

      演练:按性别统计用户人数

      演练:按产品+日期统计各产品销售金额

6、 各种图形的画法

      直方图

      饼图

      折线图

      散点图

7、 绘图的美化技巧

      演练:用Python库作图来实现产品销量分析,并可视化

8、 数据预处理

      异常值处理:3σ准则,IQR准则

      缺失值插补:均值、拉格朗日插补

      数据筛选/抽样

      数据的离散化处理

      变量变换、变量派生

9、 数据的基本分析

      相关分析:原理、公式、应用

      方差分析:原理、公式、应用

      卡方分析:原理、公式、应用

      主成分分析:降维

案例:用Python实现数据预处理及数据准备

 


三、 数据挖掘

1、 常见分类预测的模型与算法

2、 如何评估分类预测模型的质量

      查准率

      查全率

      ROC曲线

3、 逻辑回归分析模型

      逻辑回归的原理

      逻辑回归建模的步骤

      逻辑回归结果解读

案例:用sklearn库实现银行贷款违约预测

4、 决策树模型

      决策树分类的原理

      决策树的三个关键问题

      决策树算法与实现

      案例:电力窃漏用户自动识别

5、 决策树算法

      最优属性选择算法:ID3、ID4.0、ID5.0

      连续变量分割算法

      树剪枝:预剪枝、后剪枝

6、 人工神经网络模型(ANN)

       神经网络概述

       神经元工作原理

      常见神经网络算法(BP、LM、RBF、FNN等)

      案例:神经网络预测产品销量

7、 支持向量机(SVM)

      SVM基本原理

      维灾难与核心函数

      案例:基于水质图像的水质评价

8、 贝叶斯分析

      条件概率

      常见贝叶斯网络

9、 聚类分析(客户细分)实战

   1、 客户细分常用方法

   2、 聚类分析(Clustering)

      聚类方法原理介绍及适用场景

      常用聚类分析算法

      聚类算法的评价

      案例:使用SKLearn实现K均值聚类

      案例:使用TSNE实现聚类可视化

3、 RFM模型分析

      RFM模型,更深入了解你的客户价值

      RFM模型与市场策略

      案例:航空公司客户价值分析

10、 关联规则分析实战

   1、 关联规则概述

   2、 常用关联规则算法

       Apriori算法

      发现频繁集

      生成关联规则

      FP-Growth算法

      构建FP树

      提取规则

   3、 时间序列分析

案例:使用apriori库实现关联分析

四、Python 爬虫

一、网络爬虫基础
     1. 什么是网络爬虫
     2. 浏览网页的过程
     3. URL的含义
     4. 环境的配置

二、Python爬虫基础知识
    1. Python爬虫基础学习
       a) Python urllib和urllib2 库的用法
           Python 正则表达式 南京柯普瑞信息技术有限公司 025-68592355
    2. BeautifulSoup简介
    3. 爬虫框架Scrapy

三、Urllib库的基本使用
     1. 网页爬取示例
     2. 网页爬取方法
     3. 构造Requset
     4. POST和GET数据传送

四、 Urllib库的高级用法
    1. 设置Headers
    2. Proxy(代理)的设置
    3. Timeout 设置
    HTTP的PUT和DELETE方法 南京柯普瑞信息技术有限公司 025-68592355
    4. 使用DebugLog

五、正则表达式
    1. 了解正则表达式
    2. 正则表达式的语法规则
正则表达式相关注解 南京柯普瑞信息技术有限公司 025-68592355
    3. Python Re模块

六、BeautifulSoup的用法
    1. Beautiful Soup的简介
    2. Beautiful Soup 安装
    3. 创建 Beautiful Soup 对象
    4. Beautiful Soup对象种类
    5. 遍历文档树

七、开始采集
    1. 遍历单个域名
    2. 采集整个网站
    3. 通过互联网采集
    4. 用Scrapy采集
    5. 几个示例

八、存储数据和读取文档
    1. 媒体文件
    2. 把数据存储到CSV
    3. MySQL与Python整合
    4. 读取纯文本和CSV文档
    5. 读取Word和.docx

九、自然语言处理基础
    1. 概括数据
    2. 马尔可夫模型
    3. 自然语言工具包
    4. 用NLTK做统计分析
    5. 用NLTK做词性分析

十、用爬虫测试网站
    1. 测试简介
    2. Python单元测试
    3. Selenium单元测试
    Python单元测试与Selenium单元测试的选择


返回上一级