Python学习——爬虫（一）

步骤

①发起请求
通过HTTP库向目标站点发起请求，即发送一个request，请求可以包含额外的headers等信息，等待服务器相应。
②获取响应内容
如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。
③解析内容
得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
④保存数据
保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。

爬虫抓取数据：

一、网页文本（HTML文档，json格式文本）

二、图片（获取到的是二进制文件，保存为图片格式）
在所需抓取的网页上打开源码
得到所需抓取文件内容链接，使用requests.get方法获取响应体二进制格式


在写入的文件夹内可以看到获取 下来的图片。
三、视频（二进制文件，保存为视频格式）
四、其他（可以请求到的都可以获取）

解析方式

直接处理
返回简单的字符串，取出空格等，适用于构造内容简单的情况
Json解析
返回Json格式的字符串，把Json字符串解析转化成Json对象，然后提取有效数据。
①选择目标网页，F12查看源码，选择XHR

②查找preview与response响应体中的内容

③解析字符串得到结果。
正则表达式提取方式
规则字符串，把html中的代码文本提取出。
BeautifulSoup

Pyquery

XPath

解决JavaScript渲染问题

分析Ajax请求
Selenium/WebDriver

Splash
PyV8
Ghost.py

保存数据

一、纯文本，Json、Xml
二、关系型数据库（如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。）
三、非关系型数据库（如MongoDB、Redis等Key-Value形式存储。）
四、二进制文件（如图片、视频、音频等等直接保存成特定格式即可。）