在抓取信息的过程中，网页爬虫往往被禁止访问网站，但始终找不到原因，这也是很多人头疼的问题。这里有几个方面可以帮助你初步发现哪里出了问题。
如果你发现你抓取的信息与页面上正常显示的信息不同，或者你抓取的是空白信息，那么很可能是在网站上创建页面的程序有问题；如果爬行频率超过网站设置的阈值，将被禁止访问。一般网站的反爬虫机制都是根据IP识别爬虫。很多时候我们的IP地址会被记录下来，服务器把你当成爬虫，导致现有IP地址不可用。所以我们需要想办法修改现有的爬虫或者修改相应的IP地址。
因此，爬虫开发者通常需要采取两种措施来解决这个问题:
1、是减缓抓取速度，减少对目标网站的压力。但是这样会减少单位时间的抓取量。
2、是突破反爬虫机制，通过设置代理IP继续高频爬行，但这需要多个稳定的代理IP。
基于ADSL拨号的常见解决方案。一般在爬行过程中禁止访问时，可以再次进行ADSL拨号，获取新的IP，这样爬行就可以继续了。但是如果在多个网站的多线程抓取中禁止某个网站的抓取，也会影响到其他网站的抓取，从整体上降低抓取速度。
3、可能的解决方案也是基于ADSL拨号。区别在于需要两台能够ADSL拨号的服务器，这两台服务器在抓取过程中作为代理。
假设有两台服务器，A和B，可以拨打ADSL。爬虫运行在C服务器上，使用A作为代理访问外部网络。如果在爬行过程中禁止访问，代理会立即切换到B，然后A会被重新拨号。如果再次禁止访问，则切换到A作为代理，B再次拨号，以此类推。
根据实际爬行过程中出现的问题的实际分析，还有很多问题需要解决。在很大程度上，爬虫爬行是一项非常麻烦和困难的工作，因此已经开发了许多软件来解决爬虫程序的各种问题。Aurora爬虫代理不仅帮助用户解决爬虫爬行问题，还简化了操作，力求以简单的操作满足用户的爬行需求。极光爬虫代理可以提供丰富的IP信息，满足用户的IP使用需求。
文章部分内容源于网络，联系侵删*
转载：https://blog.csdn.net/zhimaHTTP/article/details/114319053