课程简介
随着互联网的快速普及与快速发展,以及智能机的普及,每天用户可以产生大量的数据和图片,这些海量的数据和图片构成了大数据。随之而来的是海量的数据和海量的图片,如何存储?如何快速访问?都成为了挑战。本课程是基于尹老师多年大数据工作经验的总结和归纳,从实际业务案例为入口,使学员从理论层到实操层面系统的学习图片数据处理技术,使学员深入理解图片数据的方法。通过本课程的学习,学员即可以高效处理图片数据,为企业的应用提供高性能支撑。
本课程重点讲解海量图片数据处理技术,为企业的应用软件提供高性能。
课程目标
通过该课程使学员具备海量图片数据的存储和快速的读写能力;
课程对象
对海量图片数据的存储和快速的读写等感兴趣的人员;
Java、Python、C等熟悉任意一门编程语言的开发者;
系统架构师、系统分析师、高级程序员、资深开发人员;
政府机关,金融保险、移动互联网等大数据单位的负责人;
高校、科研院所大数据研究人员,涉及到海量图片数据处理的人员;
授课方式
以课堂讲解、演示、案例分析为主,辅以互动研讨、现场答疑、学以致用。
课程大纲
时间 | 内容 | 备注 |
第一天 | 第1个主题: 海量图片的存储与高速传输(介绍海量图片的存储与高速传输需求产生的背景、解决思路和技术)(90分钟) 1、 大型网站产生大量的图片资源 2、 大型电商网站 3、 大型社交网站 4、 大型自媒体网站 5、 大型搜索引擎 6、 页面中图片多导致慢的原因剖析 7、 浏览器机制限制导致图片下载慢 8、 图片存储在物理服务器上频繁IO导致慢 9、 操作系统目录图片数量限制导致慢 10、 提升图片服务器性能的思路 11、 设计独立的图片服务器 12、 图片数据的流量从Web服务器剥离 13、 一个页面从多个CDN服务器下载图片 14、 只下载浏览器视图区域图片 15、 根据用户访问量及网站图片数据量能动态添加图片服务器节点 16、 采用分布式存储 17、 上传和下载分开处理 18、 使用cache缓存 19、 使用一致性哈希算法 20、 采用CDN分发和多域名访问入口 21、 图片的缩略图 22、 图片的压缩技术
第2个主题: 大型网站海量图片高性能解决方案(分享大型网站海量图片高性能解决方案思路、基本原理、核心技术)(90分钟) 1、 高性能海量图片问题解决思路 2、 高性能海量图片服务器涉及的技术 3、 DFS分布式文件系统 4、 NFS网络文件系统 5、 CDN(Content Delivery Network,内容分发网络) 6、 Nginx 7、 Lighttpd 8、 反向代理 9、 负载均衡等技术 10、 大型网站海量的图片数据 11、 高性能海量图片服务器架构 12、 海量的图片数据服务器硬件架构 13、 海量的图片数据服务器软件架构 14、 海量的图片数据服务器软件编程语言 15、 海量的图片数据服务器软件数据库 16、 海量的图片数据服务器软件Web服务器 17、 海量的图片数据服务器软件防火墙
第3个主题: 中小型网站系统海量图片数据分布式动态存储及负载均衡的解决方案(深入理解中小型网站系统海量图片数据分布式动态存储及负载均衡的解决方案)(90分钟) 1、 图片存储方式 2、 网站对系统性能的要求 3、 性能对网站架构的要求 4、 海量的图片数据服务器硬件架构 5、 海量的图片数据服务器软件架构
第4个主题: 海量图片数据服务器项目(分享海量图片服务器项目)(90分钟) 1、 大量图片的上传 2、 大量图片的下载 3、 海量图片的传输 4、 海量图片的访问 5、 海量图片的存储 6、 海量的小图片 7、 高速访问图片 8、 倒排索引 9、 磁头读写 10、 大内存 11、 CDN网络 12、 负载均衡 13、 海量图片服务器集群架构设计 14、 延迟加载 15、 缩略图 16、 Redis图片数据存储 17、 HBase分布式图片数据存储 18、 案例分享:高性能海量图片数据项目案例 19、 测试图片服务器的上传与浏览 20、 图片服务器的性能评估 21、 案例分享:淘宝286亿海量图片存储与处理架构,海量小文件存储的解决方案 |