Python爬虫配置Selenium库+设置无图无头属性

出一个最新windows下配置selenium全环境的教程~
本文会手把手教你配置环境，并带你写第一个selenium爬虫程序

环境配置

1.安装Selenium库

Python和Anaconda-Python中并不包含Selenium包，这里我们要安装一下Selenium这个包
以下三种方式认选一种即可，推荐第三种

• pip 安装
  win+r打开cmd窗口，手动输入pip install -U selenium
  注：并不推荐这种方法，速度会很慢，而且当你电脑同时有普通python和anaconda时，pip匹配的是python的哪个版本，初学者可能分不清楚
• 网上下载+手动安装
  下载地址：https://pypi.org/project/selenium/
  下载红框选中的tar.gz文件，解压，win+r进入cmd，cd + 解压完文件的路径
  
  之后运行命令 python setup.py install
  
  安装成功会有版本提示
  
• 使用PyCharm直接安装
  推荐这个方法，简单粗暴，直接省事
  直接打开PyCharm，进入到File-Setting-Project Interpreter，
  ps：如果你的环境是Anaconda集成环境，需要点击一下小眼睛标志上面的按键
  
  
  之后将这个窗口关掉，等待右下角进度条就行了~

• 注：如果你是anaconda环境，记得关闭设置窗口前，将anaconda小圆圈点回去
• 如果这种方法安装失败，请重新安装一下，多试几次就行了
• 如果搜不到selenium包，请检查你的网络，查看anaconda小圆圈是否处于未点击状态

2.下载浏览器对应驱动

Chrome

• http://chromedriver.storage.googleapis.com/index.html

Firefox

• https://github.com/mozilla/geckodriver/releases

Edge

• https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/

Safari

• https://webkit.org/blog/6900/webdriver-support-in-safari-10/

推荐win10使用chrome，Linux使用Firefox。这里演示Chrome的操作

• 1.根据你Chrome的版本，到上面的链接下载对应版本的驱动
  
  下载完文件之后解压，得到chromedriver.exe文件
• 将chromedriver.exe拷贝到python编译器所在的位置
  细节在图片文字上

运行测试，测试一下安装是否成功

打开PyCharm或其他Python编程软件，输入以下代码

from selenium import webdriver
url='https://www.baidu.com'
brower=webdriver.Chrome()
brower.get(url)

• 运行程序，如果Chrome自动打开百度，恭喜你环境配置成功
  

设置无图无头属性

selenium库主要用于自动化和爬虫，爬虫基本可以爬取一切网站，唯一的缺点就是只能等待网站加载完，selenium才能提取代码，对于无关内容很多网站，我们就可以设置无图属性
让浏览器不显示在前台，可以设置无头属性

• 谷歌浏览器设置

from selenium import webdriver
url='https://www.baidu.com'
option = webdriver.ChromeOptions()
prefs = {"profile.managed_default_content_settings.images": 2}  #设置无图模式
option.add_experimental_option("prefs", prefs)                  #加载无图模式设置
option.add_argument("--headless")                               #设置无头模式
browser=webdriver.Chrome(options=option)                        #调用浏览器时，一定要加上设置
browser.get(url)
source=brower.page_source
print(source)

• Firefox火狐浏览器设置

from selenium import webdriver
url='https://www.baidu.com'
option=webdriver.FirefoxOptions()
option.set_preference('permissions.default.image',2)    #设置无图模式
option.add_argument('--headless')                       #设置无头模式
browser = webdriver.Firefox(options=option)             #调用浏览器时，一定要加上设置
browser.get(url)
source=browser.page_source
print(source)

• 如果不想设置无头模式，又想运行完之后自动关闭浏览器，在代码的最后添加一行，就会自动关闭
  browser.quit()

转载：https://blog.csdn.net/sinat_21560581/article/details/104939722