写在前面
对于分布式爬虫学习来说，或者对于技术学习来说，没有捷径，两条路可以走，第一自己反复练习，孰能生巧；第二看别人分享的代码反复学习别人的写法，直到自己做到。
今天继续通过celery实现分布式爬虫爬取https://book.douban.com/tag/?view=type&icn=index-sorttags-all
简单回忆下上篇博客涉及celery相关的知识点，celery官方定义为分布式任务队列，核心就是通过队列来实现跨线程或者跨终端进行作业分发。
队列的输入是一个作业单元，被称为task，我们只需要在定义好的函数上方，增加@app.task 装饰一下即可，查阅手册可以查看其它参数内容。
定义好task之后，执行worker 监控这个队列，有新作业即执行。
Python代码走起
接下来就是正式编码部分了，我们先补充一些基本知识
celery task 任务调用有三个API：
- 直接给任务发送消息
app_async(args[,kwargs[,....]]) - 给任务发送消息的简化写法，即1的简化写法
转载：https://blog.csdn.net/hihell/article/details/107956596
查看评论