Python 爬取 20 万条评论，告诉你周杰伦新歌为啥弄崩 QQ 音乐？

2020-04-01 15:16 220人阅读评论(0)

作者 | 哈哈浩

责编 | 伍杏玲

9 月 16 日晚间，周董在朋友圈发布了最新单曲《说好不哭》。

发布后，真的让一波人哭了，一群想抢鲜听的小伙伴直接泪奔。

因为 QQ 音乐直接被搞崩了！

没想到干翻 QQ 音乐的不是网易云音乐，也不是虾米音乐，而是周董！

周董成成功地凭一己之力干翻了 QQ 音乐！

那么听过周董新歌后的小伙伴都是怎么评价的呢？

这里，我们获取了 QQ 音乐的近 20W 条评论数据进行分析，看看其中有哪些有趣的东西？

数据获取

1、请求分析

在 QQ 网页版直接搜索『说好不哭』，很容易就能找到单曲页面：

说好不哭

拉到页面最下方，可以看到评论的分页查看按钮：

分页查看

按下 F12 点击第二页，在请求流中就可以看到对应的请求：

评论请求

其中可以看到两个重要参数：pagenum 和 pagesize。

将请求 copy 到 Postman 中进行测试：

Postman测试

发现可以直接获取到数据，连 Header 都不需要添加。这里尝试对请求参数进行了精简，最终只需要如下几个参数即可：

参数精简

从 Postman 中可以直接获取到对应的代码：

import requests

url = "https://c.y.qq.com/base/fcgi-bin/fcg_global_comment_h5.fcg"

querystring = {"biztype":"1","topid":"237773700","cmd":"8","pagenum":"1","pagesize":"25"}

response = requests.request("GET", url, params=querystring)

print(response.text)

这里是单页评论的获取，所有评论的获取只需递增 pagenum 即可。

2、数据解析

返回数据中有很多暂时不需要的字段，这里我们只取其中的用户名、评论时间、评论内容、点赞数。

对应如下字段：

{
    "nick": "丨那壹刻永遠消失\"\"",
    "praisenum": 1,
    "rootcommentcontent": "越听越好听怎么回事！",
    "time": 1568729836,
}

由于数据量较大这里我们暂时将数据存放在 Excel 中，一来无须依赖外部数据库，二来可以使用 Excel 对数据进行二次处理。

数据存储代码如下：

def file_do(list_info, file_name):
    # 获取文件大小
    if not os.path.exists(file_name):
        wb = openpyxl.Workbook()
        page = wb.active
        page.title = 'jay'
        page.append(['昵称','时间','点赞数','评论'])
    else:
        wb = openpyxl.load_workbook(file_name)
        page = wb.active
    for info in list_info:
        try:
            page.append(info)
        except Exception:
            print(info)
    wb.save(filename=file_name)