咪哥杂谈
本篇阅读时间约为 3 分钟。
1
前言
平时我有个习惯,就是要经常去 github 上看看有哪些开源项目热门起来了。
那今天就给大家推荐一个近期比较火热,极其友好的爬虫开源项目。
极其友好,特指对小白极其友好~面向小白的爬虫小例子非常经典,并且其中涉及了一些淘宝,豆瓣等大型网站。
且不论技术细节是怎么实现的,如果对电商等平台有数据需要,并且对爬虫技术非常感兴趣的小伙伴,可以参考借鉴,那么废话不多说,带大家来看下,下面进入正题。
2
项目介绍
迄今为止,北京时间 2020年04月25日。此项目 star 数已有 8k+。
简单的看下目录,有些小例子确实很吸引人:
天天基金,天猫商品,微信读书,看上去都是比较实用的"小工具"。
此项目友好就友好在,这里的每个目录,作者以文章的形式详细的讲解了技术细节,代码细节。
有的是用抓包得到的接口,有的是用 selenium 动态模拟,有的是用 requests 库模拟请求.....
善用 github 进行学习检索,也是一项必备技能!
这里教对技术感兴趣的同学一个小技巧,一个是平时没事可以逛逛 github 热榜,还有一个就是可以 follow 某个语言领域的大神开源作者。
因为 github 的 profile 信息主页,是以一种瀑布流形式的信息进行推送刷新。当你关注的作者有更新,提交,创建项目,或是star,fork了项目,这些动态都会在你的主页进行显示的,如下图:
3
结语
好久没有给大家推荐学习资料了,所以写了这么一篇推荐资料文!
如果想解锁本开源项目更多内容,扫描下方二维码进行查看(扫完会跳转到开源项目主页):
文字链接:https://github.com/shengqiangzhang/examples-of-web-crawlers
题图 - pexels - malcolm garret
▼
往期精彩回顾
▼
转载:https://blog.csdn.net/weixin_38753698/article/details/105781006