课程时长

1天（6小时/天）

课程大纲

第一节 Python高级操作

6.1 模块的导入

6.2 包的定义与使用

6.3 常用包numpy、pandas与matplotlib的使用

6.4 Python 异常类

6.5 Python 中的异常处理结构

6.6 raise与assert使用

7.1 多线程的同步与异步

7.2 拥塞与同步异步的关系

7.3 CPU、线程不同层次的认识

7.4 并发与并行

7.5 队列机制、Threading

7.6 线程间通信机制

7.7 多线程间实现大块数据共享

第二节 Python网络编程与Office编程

8.1 Socket & SocketServer的区别和联系

8.2最简实例：Socket完成服务端客户端数据通信

8.3 Python Internet 模块

8.4 HTTP、FTP的数据接收

8.6系统：Python中os、sys.platform等的使用

8.7 读写Word

8.8 python -docx的使用

8.9添加段落、表格；设置文字、标题等格式

8.10跨平台psutil模块动态获取资源信息

8.11 定时监控目标服务器各类信息

第三节 网络爬虫

9.1 Python爬虫基础：beautiful soup、request、urllib等介绍

9.2静态网页数据获取

2．抓包分析：charles 及 fiddler的使用

3．获取内容：urllib、urllib3、requests等库的使用

4．HTML解析：正则表达式、beautifulsoup4

5．数据保存：保存为文件、保存进数据库

6．基础爬虫实战：url 管理器、html 下载器、html 解析器、数据存储器、爬虫调度器

7．反爬与突破反爬虫：设置 ip 代理、验证码、动态渲染等

8．selenium 框架

9.3 python网络爬虫框架 Scrapy

第四节 基于Scrapy的海量数据获取

1．初识 Scrapy ：Scrapy架构、创建项目、执行流程

2．Scrapy 基本使用：编写spider、使用 item封装数据、pipline 处理数据、标签提取、导出数据、下载图片和文件、中间件等

3．增量式爬虫：去重方案、布隆过滤器等

4．分布式爬虫：redis基础、分布式爬虫原理、scrapy实现分布式爬虫

5．部署爬虫：Scrapyd 的安装及使用

9.5 数据储存工具——Mongo DB

9.6 其他相关数据获取第三方库：Tushare、Easyquatation 等

第五节 Web框架的使用

一个极简的Flask代码及其详细解释与扩展

调试模式

Flask 路由

Flask 变量规则

URL构建

HTTP方法：GET、PUT、POST

Flask与Jinja2模板引擎的结合

Web应用中静态文件的使用： javascript、CSS

将表单数据发送到模板

Request对象与Cookies

Sessions（会话）

文件上传与下载

Flask与SQLite数据库

Flash部署外部可见服务器

Tornado的特点和实时Web服务

一个极简的Tornado代码及其详细解释与扩展

Tornado与Django区别

异步非阻塞IO的处理方式

协程模式与异步编程

异步生产者/消费者模式的协程：一个并发网络爬虫案例

WebSocket

HTTPServer、Tornado运行和部署

第六节：Python数据库操作

Pymysql数据库操作基础

connect连接数据库、connection对象

cursor对象、execute方法、SQL语句

fetchall、close；connection对象的close

ORM框架：SQLAlchemy

创建表、插入数据、查询、修改、回滚等数据库操作

session、Query、filter、count等的综合使用

统计、分组、外键关联等操作

多对多统计、查询与删除

案例与实践：

凯撒文本加密

9.7 链家网挂牌房屋信息与价格爬取

9.8 网易新闻爬取

9.9 百度图片爬取

8.5 电影数据解析为例：XML文件

出题生成器的代码实现与辅助办公自动化

1、给定以交易日为单位的股票开盘收盘交易等数据，建立股票收盘价自回归建模，并预测未来七日内的价格

2、在某P2P小额贷款平台中，给定数万条用户数据，建模并预测用户逾期概率。并计算特征重要度，降低单个用户的预测成本。

3、给定数千用户与数百特征，使用分类模型预测用户购买某理财产品的概率。