写在前面
今天是第78篇Python爬虫博客了，在这里立个Flag，争取在10月1日之前把爬虫百例写完，如果你从第一篇看到现在，你应该是一个合格的爬虫Coder了，继续加油！！
继续搞定增量爬虫，本文涉及两个Python模块，一个为Scrapy，另一个是BloomFilter
BloomFilter（布隆过滤器）使用场景
关于BloomFilter是谁发明的以及为什么发明，本文就不在赘述了，下面主要给大家分享一下BloomFilter使用的场景
- 黑名单应用（邮件黑名单）
- 网络爬虫去重（和我们要学的增量爬虫产生了关联）
- KV系统快速判断Key是否存在
- 减少缓存穿透（具体没尝试过，不做过多的解释，可以参照：http://blog.itpub.net/31561269/viewsp
转载：https://blog.csdn.net/hihell/article/details/108225659
查看评论