大数据采集与爬虫

适读人群 ：高等职业院校大数据技术与应用专业的师生

配套资源：微课视频、电子课件和习题答案

本书特色：

适用于高职院校“大数据技术与应用”专业

大数据采集与爬虫的立体化教材

任务驱动模式编写

国家示范高等职业院校老师倾力编写

《大数据采集与爬虫》主要讲解了如何使用Python编写网络爬虫程序，内容包括Python环境搭建、Python的基础语法、爬虫基础知识、网络基础知识、常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和ChromeDriver的用法，以及Scrapy爬虫框架的基本原理和操作。*后介绍了一个网络爬虫的综合案例，以巩固前面所学的知识。
《大数据采集与爬虫》适合作为高等职业院校大数据技术与应用专业的教材，也适合有一定Python编程经验并且对爬虫技术感兴趣的读者阅读。

目录
前言
任务1 Python环境搭建
11 任务描述
12 Python概述
13 Python编程环境搭建
131 在Windows操作系统下安装Python
132 在 Linux操作系统下安装Python
133 在 Mac OS操作系统下安装Python
14 安装集成开发环境PyCharm
141 PyCharm概述
142 PyCharm的安装和运行
15 Python的数据类型
151 整型
152 浮点型
153 字符串类型
154 列表类型
155 集合类型
156 字典类型
157 元组类型
16 Python语句与函数
161 条件判断语句
162 循环语句
163 自定义函数
17 任务实现
18 小结
19 习题
任务2 实现简单数据采集
21 任务描述
22 网络爬虫基础知识
221 网络爬虫概述
222 使用网络爬虫的风险
223 Python爬虫的工作过程
23 网络基础知识
231 HTML
232 URI和URL
233 HTTP
234 Request和Response
24 requests库的安装及使用
241 requests库概述
242 requests库的安装
243 requests库的基本用法
25 lxml库和BeautifulSoup库的安装及使用
251 lxml库概述
252 BeautifulSoup库概述
253 lxml库和BeautifulSoup库的安装
254 lxml库和BeautifulSoup库的基本用法
26 任务实现
27 小结
28 习题
任务3 存储数据
31 任务描述
32 MySQL的安装及使用
321 MySQL概述
322 MySQL的安装
323 MySQL的操作
33 PyMySQL的使用
34 CSV和JSON格式
341 CSV格式概述
342 输出CSV文件头部
343 使用Python读取CSV文件数据
344 使用Python向CSV文件写入数据
345 JSON格式概述
346 使用Python读取JSON文件数据
347 使用Python向JSON文件写入数据
35 任务实现
36 小结
37 习题
任务4 使用Web API采集数据
41 任务描述
42 GitHub
421 GitHub概述
422 GitHub的基本用法
43 Web API
431 Web API概述
432 GitHub开放API的数据特点
433 GitHub的API请求数据
434 获取API的响应数据
435 处理API的响应数据
44 任务实现
45 小结
46 习题
任务5 使用AJAX采集数据
51 任务描述
52 AJAX
521 AJAX的起源
522 AJAX概述
523 AJAX的特点
524 静态数据
525 动态数据
526 分析AJAX采集的数据
527 提取AJAX采集的数据
53 任务实现
54 小结
55 习题
任务6 主流验证码解析
61 验证码概述
62 自定义图形验证码解析
621 任务描述
622 图形验证码概述
623 tesserocr库概述
624 tesserocr库的安装
625 自定义图形验证码的生成
626 使用tesserocr库解析自定义图形验证码
627 任务实现
63 滑动验证码解析
631 任务描述
632 滑动验证码概述
633 ChromeDriver概述
634 ChromeDriver的安装
635 Selenium概述
636 Selenium的安装
637 Selenium和ChromeDriver的基本用法
638 任务实现
64 点击式验证码解析
641 任务描述
642 点击式验证码概述
643 聚合数据平台接口概述
644 任务实现
65 小结
66 习题
任务7 模拟登录
71 使用Selenium和ChromeDriver实现模拟登录
711 任务描述
712 GET概述
713 GET的基本用法
714 POST概述
715 POST的基本用法
716 GET和POST的区别
717 任务实现
72 使用Cookie实现模拟登录
721 任务描述
722 Cookie概述
723 Session概述
724 Cookie和Session的区别
725 任务实现——使用Cookie模拟登录
726 任务实现——使用requests库实现用Cookie和Session模拟登录
73 小结
74 习题
任务8 使用Scrapy爬虫框架采集数据
81 任务描述
82 Scrapy
821 Scrapy概述
822 Scrapy的工作原理
83 Scrapy的安装
831 在Windows操作系统下安装Scrapy
832 在Linux操作系统下安装Scrapy
84 Scrapy各组件的用法
841 Selector类
842 Spider类
843 下载器中间件
844 条目管道
845 网络爬虫中间件
85 任务实现
86 小结
87 习题
任务9 综合案例
91 任务描述
92 页面分析
93 模拟登录
94 获取静态数据
95 获取动态数据
96 数据持久化保存
97 小结

前言

为什么写这本书
在这个数据爆炸的时代，不论是提供底层基础架构的云计算，还是实现各种人工智能的应用，都离不开其核心的源泉——数据。由于网络中的数据太多、太宽泛，人们需要通过特殊的技术和方法实现在海量的数据中搜集到真正有价值的数据，从而为下一步的数据清洗、分析和可视化等技术提供数据支撑。因此，网络爬虫应运而生。
《大数据采集与爬虫》从基础的Python环境搭建、Python基础语法、网络基础知识入手，结合实例，由浅入深地讲解了常用爬虫库和解析库、数据持久化存储、Web API和异步数据抓取技术、Selenium和Chrome Driver操作、Scrapy爬虫框架的基本原理和操作。《大数据采集与爬虫》提供了爬虫案例和源代码，以便读者能够更加直观和快速地学会爬虫的编写技巧。
希望《大数据采集与爬虫》对大数据从业人员或者网络爬虫爱好者具有一定的参考价值，通过对本书的学习能够更好地解决工作和学习过程中遇到的问题，少走弯路。

本书的读者对象
● 高等职业院校大数据技术与应用专业的学生。
● Python网络爬虫初学者。
● 网络爬虫工程师。
● 大数据及数据挖掘工程师。
● 其他对Python或网络爬虫感兴趣的人员。

本书内容介绍
《大数据采集与爬虫》分为两大部分：理论知识（任务1~8）和综合案例（任务9）。
任务1：讲解了Python环境搭建和Python基础语法，让读者能够了解Python的基础知识。
任务2：通过抓取百度官方网站页面，阐述了爬虫的基本概念、工作过程，以及Web前端和网络基础知识，让读者能够更好地理解网络爬虫。
任务3：通过实现学生就业信息数据读/写和数据持久化，阐述了MySQL的基本知识和安装过程，并使用PyMySQL库在Python环境中实现了对CSV和JSON格式数据的读/写操作。
任务4：通过使用Web API采集GitHub API的项目数据，阐述了GitHub 的使用方法和GitHub API项目数据的抓取方法。
任务5：通过使用 AJAX 采集汽车之家网站的数据，阐述了AJAX的基本原理和特点、静态数据和动态数据的区别，以及结合浏览器页面分析工具用AJAX提取数据的方法。
任务6：阐述了使用tesserocr库、Selenium和ChromeDriver解析当前主流验证码的方法。
任务7：介绍了计算机网络中GET和POST请求的基本内容和区别，并阐述了使用Cookie、Selenium和ChromeDriver实现对网站进行模拟登录的方法。
任务8：介绍了Scrapy爬虫框架的基本内容和工作原理，并阐述了使用Scrapy实现对网站数据进行采集的方法。
任务9：综合运用前面学习的知识，实现一个网络爬虫的综合案例。

勘误和支持
由于编者水平有限，书中难免存在一些疏误之处，恳请各位读者不吝指正。

致谢
感谢机械工业出版社编辑人员对编者工作的理解、帮助和支持。
感谢付雯老师、王正霞老师、胡心雷老师的共同参与和辛勤付出。
感谢为本书做出贡献的每一个人。
谨以此书献给热爱Python爬虫技术的朋友们！

李俊翰