前端操作小技巧
最近工作中在写关于python爬虫的脚本,今天的任务是写一个要爬取CNVD网站数据的脚本,刚开始脚本写的很顺利,但是测试的时候遇见了一个令人头疼的事情,我发送请求的时候一直报 error_code 521 的错误,经过百度发现问题是CNVD网站有反爬虫机制,具体解决方案,参考:https://www.shengbangshenghua.com/jiaoben/188366.html
下面我分享一下我的在调试的时候使用到的前端小技巧吧,刚开始的时候我发现请求一直都是 error_code 521 ,我以为是我脚本写的有问题,就去请教了一下度娘,发现是因为发送 http 请求的时候 cookie 的问题,按着百度的思路也尝试了一下,发现还是行不通,于是我就想,既然脚本发送请求不可以,那我可不可以尝试用一下 Postman ,然后我按着脚本里面的请求 headers 去 Postman ,尝试了一下发现还是不行,于是我就想如果是 cookie 的问题,那我何不尝试一下使用已经访问成功的网站 的 cookie 尝试一下,然后我按照原来的思路尝试了一下刷新网页,发现 CNVD 网站没有请求,然后我就想是不是方式不对,然后我就开始研究 Chrome 的开发者工具,经过我的不懈努力加上请教别人,终于知道了一个前端小技巧,可能以后没什么用,但是可以记录一下
1.Chrome F12
操作步骤:
首先打开 Chrome F12开发者调试工具,然后选择NetWork,然后选择All,我们就能看见发送的请求,然后右键我们能看到 Copy ,然后鼠标放上去会出现一个选项,我们选择 Copy as cUTL(bash) 这个选项,这个选项会将我们这个请求转换成 CURL 命令的形式。
2. Postman
操作步骤:
首先进入Postman 界面,然后选择 Import ,会弹出一个页面,我们选择 Raw test ,然后将我们在浏览器copy的 CURL 命令粘进去,点击 Continue,然后选择导入即可。
然后我们点击send就会看到我们想要的 请求头了!!!!
转载:https://blog.csdn.net/qq_43619066/article/details/111565771