提示：本文适用于刚刚入门学习爬虫的童鞋
前言
提示：随着数据相关专业的普及，爬虫已经变得越来越重要，当我们想在网上批量获取公开数据的时候，手动复制难免费时费力，而这个时候，爬虫就起到了至关重要的作用
可能会使用到的库有:requests、lxml、re、bs4 如果没有这些库的话可以在命令行使用pip install… 进行安装!!! 本博客的文章都很简单，遇到每个实例都建议自己动手去敲，而不是直接赋值黏贴，因为我也没写代码哈哈哈哈。图片若看不清的话可以点击放大来看。
提示：以下是本篇文章正文内容
一、爬虫的合法性及其探究
1、爬虫合法吗？
爬虫是属于灰色地带的产物，也就是说，如果你往好的地方用，是没有关系的，但如果你无视法律的存在，去干坏事，那就是属于违法了。
2、爬虫要注意什么?
- 尽量优化自己的程序，不要给别人的服务器造成很大的麻烦，并且不要疯狂的点击别人的网站，通常那样会让别人承担不住。
- 不要写恶意的爬虫
- 不要爬取网上的隐私数据，商业机密，敏感数据等…
- 不要拼命破解一些别人加密了的数据，通常这些数据别人并不想全给你抓取下来
- robots.txt协议
二、爬虫的几个步骤
1、指定url
url通常是你要爬取的网站，通常我们会在网址中直接获取，或者在抓包工具中(按F12或者鼠标右键检查)，找到你想要的数据的网址,下面展示一下获取url的地方，直接获取就可以。
2、发送请求
我们使用requests模块发送请求,首先如果你没有这个库的话需要先安装一下: 在命令行中输入: “pip install requests”。我们发送的请求通常有post和get，通常情况下，在网址中的url是使用get方式，而在抓包工具中的url则需要看一看Request Method这个参数是什么。
- post请求: requests.post()
- get请求: requests.get()
3、接受请求得到的数据
-
我们要对网页所返回的数据进行一些处理，才能得到我们想要的数据。首先我们要接受它。
-
在我们使用post或者get之后，我们需要一些手段来得到我们的数据，通常有:
- text : 获得网页源代码
- json : 获得json数据(json是一种数据交互方式)，通常我们可以直接得到json数据或者使用json.load或json.loads方法将其转换为Python中的字典
- content : 获得二进制数据
-
我们需要使用一些匹配规则来匹配我们所需要的数据，通常有:
- re正则表达式
- BeautifulSoup
- Xpath
4、进行持久化存储
- 持久化存储这块读者可大胆发挥自己的想象力，我们可以存储在excel表中，以csv或者xlsx的形式、或者存储在数据库中，亦或是存储在txt文本当中，在后面的实例我们再仔细讲解。
三、几个案例
在所有案例开始之前，再次申明，请不要对别人的服务器制造很大的麻烦！！！！！！
1、百度一下，你就知道
- 我们写好了我们的程序，然后运行它，发现打印出的源码只有如此一点点，我们现在打开百度的首页，鼠标右键点击查看网页源代码。显然我们没有拿到全部的网页源代码，而且这里的字符好像也出了点问题。
- 我们先来看一看字符的问题，是不是编码错误? 我们加上res.encoding=“utf-8”。
- 这样就正常了，但是我们怎么解决得不到全部源代码的问题呢?我们怀疑可能是被发现了。
- 我们需要进行一些伪装，headers意味发送的请求头，我们在headers这个字典中加入了User-Agent这个参数，表明我们是一个浏览器而不是一个Python程序。User-Agent参数通常在自己的网页中进行复制。同样的打开抓包工具，刷新出一些网页来，在Requests Headers(请求头)中我们找到User-Agent这个参数(蓝笔标注)，并直接进行复制，我们首先用双引号将其隔开，然后在写成字典形式即可。
- 这样看来，我们的数据就变得正常了。
- 现在我们相对刚得到的数据进行持久化存储，打开一个baidu.html文件，以写的方式进行存储，encoding表示指定编码方式。
- 这样在我们得到的源码中，我们可以直接点开我们的显示在浏览器上的按钮(蓝笔标注)，看看是不是真正获取了全部的源代码。
- 补充一个东西，我们百度搜索的东西，假设我要搜索Python
- 好像有一堆参数，但大多数其实是我们不需要的。我们只留下一个wd。
- 搜索出来的东西其实是一样的。那我们再给这个wd改成Java。
- 可以发现搜索的东西变成了Java。
- 我们打开抓包工具，刷新网页，发现一个请求，带着一个参数，这个参数就是我们搜索的关键字。
- 你明白了点什么吗?我们可以发送请求给这个网址，顺便带上参数。
- get请求的参数是params，而post请求是data。
- 当你将得到的这个源码打开，你就会发现进入了Java的搜索页面。
- 这个案例到这就结束了，这仅仅是一个简单的开始，它让你明白在原有的基础上，你可能需要一些伪装手段，查看/掌握编码的技巧。
2、豆瓣Top250
- 先进入页面看看
- 我们以电影的名字来举例:我们想获得一部分电影名字的数据，我们先右键选择查看网页源代码，按ctrl+f进行搜索。我们想在源码中找一下是否有肖申克的救赎这几个关键字。我们确保在源码中是有这些东西的，但是看这么多源码，一下子想取出来难免有点费劲。
- 在取出这些数据之前，我们需要先学习一个名叫正则表达式（re）的东西
- 正则表达式是一种匹配规则，你首先需要知道这些。
- . : 匹配除换行符外的任意字符串
- \w : 匹配字母或数字或下划线
- \s : 匹配任意的空白符
- \d : 匹配任意数字
- ? : 匹配0次或1次
- * : 匹配0次或多次
- + : 匹配1次或多次
- ^ : 从头开始匹配
- $ : 从尾部开始匹配
- {n} : 重复n次
- {n，[m]} : 重复n次或更多次（或到m次）
- [^] : 不匹配字符组里的字符
- .* : 表示贪婪匹配
- .*? : 表示非贪婪匹配
- \W : 表示匹配非字母或数字或下划线
- \D : 表示匹配非数字
- \S : 表示匹配除空白符外的任意
- \n : 表示匹配一个换行符
- \t : 表示匹配一个制表符
- a|b : 匹配字符a或b
- () : 匹配括号内的表达式，也表示一个值
*别急还有亿点点~~~~*
- 然后知道这些函数的话就比较足够了
- re.findall(匹配规则，字符串) : 在字符串中找到所有满足匹配规则的字符串，并以列表的形式返回。
- re.finditer(匹配规则，字符串) : 在字符串中找到所有满足匹配规则的字符串，并以迭代器的形式返回。
- re.search(匹配规则，字符串) : 在字符串中找到一个满足匹配规则的字符串就返回。
- re.match(匹配规则，字符串) : 在字符串中从头匹配，找不到就报错。
- 预加载匹配规则
- re.compile(""，[可加入其它，前面也可，比如re.S，表示让.可以匹配换行符]) : 在里面填入你的匹配规则
- com = re.compile("")
- com.findall(字符串)
- 括号的拓展使用 : (?P<这里可取名字>然后写正则)
- 例 : (?P< name >.*?) (注意这里面不需要打引号)
- 下面动手试试吧~~~ ，对人家服务器友好一点！！！
-
- 我们看到我们已经获取到了我们需要的数据。
- 其实正则也有偷懒的写法，即复制网页源代码，将某些部位改成.? 或 (.?) ，后者里面是需要匹配的数据，前者是不需要的，但是会帮助你匹配，过滤一些代码。
- 正则就到这里吧嘻嘻嘻嘻嘻。
- 但我们会发现了个有趣的东西，我们换页的时候有些参数在改变，我们删去filter这个参数，留下这个start，当前显示start是等于25，而我们的页面中的电影序号是26，这会不会有某些规律。
- 我们将start改成30，神奇的一幕发生了！！！
- 现在这个页面电影的序号是从31开始的了！！！还挺有趣的吧嘻嘻嘻。
- 斜眼笑.jpg。
3、抓取QQ音乐的评论
- 废话不多说，我们直接找到我们要的一点点评论
- 那个包是在绿色字标注的那个包的上面的那个包，这里标识错了。
- 现在我们一层层剥开它的心
- 这儿！(蓝笔标注)应该就是我们想要的东西，好！开始码代码，我们事先查看一下请求方式及编码格式还有返回的数据。这次的数据居然是json的格式。我们只要在我们请求之后加上 .json() 就好。返回的格式是Python中的字典。字典的嵌套形式，即要一层层取出你要的东西。
- 例子:
-
下面是代码
-
json格式的文件只要 .json() 就会返回一个字典啦，至于怎么快速地找到字典中的键，那就要将这个字典格式的数据放到json在线解析工具中去，然后就可以清晰地找到了。
-
这就持久化存储好了
-
完结！！！！
4、猪八戒网
- 先看一看这个网站，还挺有意思的。
- 我在搜索栏中输入了软件二字，现在我们想把这些价格信息抓取下来
- 我们查看页面源代码，发现里面有我们想要的数据。
- 在这之前，我们需要学习一个很方便的匹配规则-Xpath，Xpath嘛用过的人都说好~~~
- Xapth的学习：类似树的一种查找，从根节点，一层层地查找，返回列表。
- / : 表示从根节点开始，表示的是一个层级。
- // : 表示从任意节点开始查找， 表是多个层级。
- /div : 查找该节点下的div标签。
- /div[1] : 查找该节点下的第一个div标签，Xpath中索引从1开始。
- /div[@class=“abc”] : 查找该节点下的一个div标签，他有一个class属性，属性值为abc。
- /text() : 取该节点下的文本内容
- //text() : 获取该节点以及它的子节点下的文本内容
- /@attr : 取该节点的attr属性
- 实例化一个etree对象 from lxml import etree
- 加载本地html的源码文件 : etree.parse(filepath) filepath是文件路径
- 加载从互联网中刚得到的html源码 : etree.HTML(‘page_text’)
- 没啦！是不是很少！！！
- 下面开始撸代码吧!
- 等等，我们先看看这个箭头。
- 点一下他，在点一下你要找的东西，就会跳转到你想要找的代码了。
- 然后就是你自由发挥的时候啦，我们顺着这个源代码，一层层地找下来。
- 直接看代码吧！
- 再看看我们的文件
- 数据已经存储进来了！！！
- 完结！！！
5、糗事百科图片下载
- 学到这里，你应该知道怎么做了吧?当然是先去找对应的图片链接啊！！！之前讲过的怎么分析源码在这里依然用得上，而且这里还多了一点东西——那就是你得先找到图片链接，再对链接进行访问，将图片进行下载。
- 用之前说过的方法，我们可以很轻松地找到图片链接
- 然后我们可以根据自己的爱好，选择自己喜欢的匹配规则。
- 然后呢，找到对应图片的链接，将其存放在一个列表中。
- 之后再对列表中的图片链接进行处理并进行访问，使用**.content**方法将其下载。
- 现在让我们来看看我们的文件有没有图片
- 当然是有的啦，只不过没有展示那么多。
- 有没有发现一个问题？？我的图片是.jpg.jpg！！！这是因为在给图片命名的时候我手动添加上了.jpg，好吧是我画蛇添足了。糗事百科就到这里吧！
总结
提示：本文章中涉及了爬虫的基本知识，包括发送请求，处理请求，持久化存储等等。这只是一个小开头，爬虫的冰山一角。本文没有涉及js等更高级的爬虫，作为初学者不需要了解太多，待对前端有更深入的学习之后再去了解更多就不会感到迷糊了。本文也介绍了爬虫的一些基本分析方法，当然只是一个思路罢了，如果想学会更多的东西，还是要不断的联系以及不断的摸索。
写在最后 :
加油！！！！软件人
转载：https://blog.csdn.net/qq_45911278/article/details/115653853