抓取了《大秦赋》所有数据，我发现了这些秘密

​​​​​推荐一门我学过的爬虫课程，课程按照网络请求→数据分析→数据存储这几个步骤进行讲解，带你完整的掌握每个技术。从基础爬虫到商业化应用爬虫，非常全面。

点击查看课程详情→《150讲轻松搞定Python爬虫》

作者：黄勇，网易、360、华为特约Python讲师

前言

最近大火的电视剧《大秦赋》，给朋友圈的小伙伴都拉回到那个风云激荡的春秋战国时期，大家都在热情的讨论着大秦一统，秦始皇嬴政、商人吕不韦的那些尔虞我诈、恩怨情仇。那到底小伙伴们都在讨论什么，对历史人物有什么看法，对《大秦赋》这部电视剧剧情和角色有什么点评？于是我用Python爬取了《大秦赋》下所有的评论数据，进行了一波分析。

1、 数据抓取

巧妇难为无米之炊，我们首先要做的第一步是想办法抓取到评论数据。这里我们抓取的是豆瓣网上关于《大秦赋》的所有评论数据，选择豆瓣网原因很简单，首先是数据比较齐全，其次反爬难度并不大。

其次来说下技术栈，用的是Scrapy+JSON的方式实现的。Scrapy框架有脚手架功能，帮我们实现了一个爬虫大部分的功能，我们只要专心于数据解析和存储即可，也是我做爬虫的首选框架。

第一步是通过`Scrapy`命令创建一个项目和爬虫：

  

   

    

     

    
    

     

      scrapy 
      startproject daqinfu
     
    
   

    

     

    
    

     

      scrapy 
      genspider daqinfu "douban.com"
     
    
  

在开始编写爬虫之前，先来看下请求的url，这里我们找到《大秦赋》的评论链接是：

https://movie.douban.com/subject/26413293/comments?start=60&limit=20&status=P&sort=time

其中start是获取评论的起始位置，limit代表获取多少条评论数据。

在获取完一页数据后，只要再获取下一页的url，然后重复发送请求即可。

了解以上两点后，就可以开始写代码了。当然前提是要对数据的提取比较熟悉，数据提取常用的有BeautifulSoup/Xpath/正则等方式，这里我们用性能和可阅读性都比较好的提取规则——xpath来进行解析。爬虫部分代码如下：

  

   

    

     

    
    

     

      # -*- coding: utf-8 -*-
     
    
   

    

     

    
    

     

      import re
     
    
   

    

     

    
    

     

      from ..items 
      import QinItem
     
    
   

    

     

    
    

     

      class QinSpider(scrapy.Spider):
     
    
   

    

     

    
    

     

          name = 
      'qin'
     
    
   

    

     

    
    

     

          allowed_domains = [
      'douban.com']
     
    
   

    

     

    
    

     

          start_urls = [
      'https://movie.douban.com/subject/26413293/comments?start=0&limit=20']
     
    
   

    

     

    
    

     

          domain = 
      "https://movie.douban.com/subject/26413293/comments"
     
    
   

    

     

    
    

     
    
      def parse(self, response):
     
    
   

    

     

    
    

     

              comment_items = response.xpath(
      "//div[@id='comments']/div[contains(@class,'comment-item')]")
     
    
   

    

     

    
    

     
        
      for comment_item 
      in comment_items:
     
    
   

    

     

    
    

     

                  pub_time = comment_item.xpath(
      ".//span[contains(@class,'comment-time')]/@title").extract_first()
     
    
   

    

     

    
    

     

                  rating_classes = comment_item.xpath(
      ".//span[contains(@class,'rating')]/@class").extract_first()
     
    
   

    

     

    
    

     

                  rating = re.search(
      r'allstar(\d)0 rating',rating_classes).group(
      1)
     
    
   

    

     

    
    

     

                  content = comment_item.xpath(
      ".//p[contains(@class,'comment-content')]/span/text()").extract_first()
     
    
   

    

     

    
    

     

                  item = QinItem(pub_time=pub_time,rating=rating,content=content)
     
    
   

    

     

    
    

     
            
      yield item
     
    
   

    

     

    
    

     

              query = response.xpath(
      "//div[@id='paginator']/a[@class='next']/@href").extract_first()
     
    
   

    

     

    
    

     
        
      if query:
     
    
   

    

     

    
    

     
            
      yield scrapy.Request(url=self.domain+query,callback=self.parse)
     
    
   

    

     

    
    

     

                  print(
      "="*
      40)
     
    
   

    

     

    
    

     

                  print(response.url,query)
     
    
   

    

     

    
    

     

                  print(
      "=" * 
      40)
     
    
  

爬取规则写好后，会构建一个item对象，这个item对象在yield过去后会发送给pipeline，然后我们在pipeline中把他保存到起来即可。相关代码如下：

  

   

    

     

    
    

     

      import json
     
    
   

    

     

    
    

     
    
      def __init__(self):
     
    
   

    

     

    
    

     
        
      self.fp = open(
      "comments.json", 
      'w', encoding=
      'utf-8')
     
    
   

    

     

    
    

     
    
      def process_item(self, item, spider):
     
    
   

    

     

    
    

     
        
      self.fp.write(json.dumps(dict(item))+
      "\n")
     
    
   

    

     

    
    

     
        
      return item
     
    
   

    

     

    
    

     
    
      def close_spider(self,spider):
     
    
   

    

     

    
    

     
        
      self.fp.close()
     
    
  

这样，我们通过在命令行输入：scrapy crawl qin，即可运行我们的代码了。

​​​​​推荐一门我学过的爬虫课程，课程按照网络请求→数据分析→数据存储这几个步骤进行讲解，带你完整的掌握每个技术。从基础爬虫到商业化应用爬虫，非常全面。

点击查看课程详情→《150讲轻松搞定Python爬虫》

 2、数据分析：

抓取了评论数据后，我们开始来进行一些分析。

首先说一下技术栈，这里我们用的是Anaconda中的Jupyter Notebook来做，然后用到了Pandas+Seaborn做数据处理和可视化。

首先将之前保存的JSON格式数据，处理成DataFrame对象。相关代码如下：

  

   

    

     

    
    

     

      items = []
     
    
   

    

     

    
    

     

      with 
      open(
      "comments.json",
      "r") 
      as fp:
     
    
   

    

     

    
    

     
    
      for line 
      in fp:
     
    
   

    

     

    
    

     
        
      comment = json.loads(line)
     
    
   

    

     

    
    

     

              items.append(
      comment)
     
    
  

  

   

    

     

    
    

     

      item_list = 
      [[item['pub_time'],item['rating'],item['content']] 
      for item 
      in items]
     
    
   

    

     

    
    

     

      comment_df = pd.DataFrame(item_list,columns=[
      'pub_time',
      'rating',
      'content'])
     
    
   

    

     

    
    

     

      comment_df[
      'pub_time'] = pd.to_datetime(comment_df[
      'pub_time'])
     
    
   

    

     

    
    

     

      comment_df.head()
     
    
  

数据处理好以后，就可以进行分析了。这里我们从几个维度来分析，第一个是评论时间，第二个是评分，第三个是评论内容（您也可以自己再多从几个维度来分析）。

2.1. 时间分析

时间我们分成两点来做，分别是发布日期、发布时间。分析发布日期我们能知道评论的走势，分析发布时间我们可以知道《大秦赋》在什么时间点播放量是最高的。

先来看看发布时间，《大秦赋》是在12月1日首播，到目前为止已经半个月了。我们来看看这半个月时间的播放情况。以下是分析代码：

  

   

    

     

    
    

     

      # 分析评论日期
     
    
   

    

     

    
    

     

      from matplotlib 
      import dates
     
    
  

  

   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      plt.figure(figsize=(
      10,
      5))
     
    
  

  

   

    

     

    
    

     

      # 2. 添加一个新的pub_date
     
    
   

    

     

    
    

     

      comment_df[
      'pub_date'] = comment_df[
      'pub_time'].dt.date
     
    
   

    

     

    
    

     

      # # 3. 根据日期分组绘图
     
    
   

    

     

    
    

     

      comment_date_df = comment_df.groupby([
      'pub_date']).count()
     
    
   

    

     

    
    

     

      ax = sns.lineplot(
      x=comment_date_df.index,
      y=comment_date_df.content,marker=
      'o')
     
    
   

    

     

    
    

     

      # 设置显示所有时间
     
    
   

    

     

    
    

     

      ax.set(xticks=comment_date_df.index)
     
    
   

    

     

    
    

     

      # 设置x轴旋转
     
    
   

    

     

    
    

     

      _ = ax.set_xticklabels(comment_date_df.index,rotation=
      45)
     
    
   

    

     

    
    

     

      # 设置x轴格式
     
    
   

    

     

    
    

     

      ax.xaxis.set_major_formatter(dates.DateFormatter(
      "%m-%d"))
     
    
   

    

     

    
    

     

      ax.set_xlabel(
      "发布日期")
     
    
   

    

     

    
    

     

      ax.set_ylabel(
      "评论数量")
     
    
  

可以看到评论数量在12月4日之前都是一直处于上升趋势，在12月4日达到顶峰。前面4天属于观众期待期，所以评论量会越来越多，但是在12月4日后出现断崖式下降，说明本剧可能不是很受大家喜爱。

再来看下评论的时间，看看大家一般在几点刷剧。这里小编从0点到24点，2个小时为一个时间段统计评论数量。相关代码如下：

  

   

    

     

    
    

     

      # 分析评论时间
     
    
   

    

     

    
    

     

      time_range 
      = [
      0,
      2,
      4,
      6,
      8,
      10,
      12,
      14,
      16,
      18,
      20,
      22,
      24]
     
    
   

    

     

    
    

     

      comment_time_df 
      = 
      comment_df['pub_time'].dt.hour
     
    
   

    

     

    
    

     

      time_range_counts 
      = 
      pd.cut(comment_time_df,bins=time_range,include_lowest=True,right=False).value_counts()
     
    
   

    

     

    
    

     

      ax 
      = 
      time_range_counts.plot(kind="bar")
     
    
   

    

     

    
    

     

      _ 
      = 
      ax.set_xticklabels(labels=time_range_counts.index,rotation=45)
     
    
   

    

     

    
    

     

      ax.set_xlabel("发布时间")
     
    
   

    

     

    
    

     

      ax.set_ylabel("发布数量")
     
    
  

可以看到在晚上8点到10点是评论量最多的，也正是电视剧播出时间段。紧接着是22-24，以及0-2点，有一部分晚上很晚才下班的小伙伴，可能会在这段时间追剧。然后又是上午10-12，以及14，16点，这段时间课时工作的最佳时间呀，怎么会用来追剧呢。说明有相当一部分小伙伴，平时工作在摸鱼呀，哈哈。

2.2. 评分分析

想要知道一部剧好不好，最直接的就是看观众给的评分，通过以下代码分析：

其中1，2分的最多。说明《大秦赋》真的没有被观众所认可呀。 

2.3. 分析人物评分

剧中演员的演技，以及故事情节，会对剧的评分产生较大影响，那么《大秦赋》中各个角色的演技，以及这个角色所产生的故事情节如何，我们接下来做一个简单分析。

这里我们的算法比较简单（不是很严谨，但是也能说明问题）。举个例子，观众给了1星，然后这个评论内容中出现了几次”秦始皇“，说明观众对”秦始皇“这个角色是比较反感的。这里我们对内容进行分词，然后提取”秦始皇“，”吕不韦“，”赵姬“，”嫪毐“，”李斯“等人进行分析。代码如下：

  

   

    

     

    
    

     

      # 电视剧人物的评分
     
    
   

    

     

    
    

     

      import jieba
     
    
   

    

     

    
    

     

      roles = {
      '嬴政':
      0,
      '秦始皇':
      0,
      '张鲁一':
      0,
      '吕不韦':
      0,
      '段奕宏':
      0,
      '李斯':
      0,
      '嫪毐':
      0,
      "赵姬":
      0,
      "朱珠":
      0}
     
    
   

    

     

    
    

     

      role_names = 
      list(roles.keys())
     
    
   

    

     

    
    

     

      for name in role_names:
     
    
   

    

     

    
    

     

          jieba.add_word(name)
     
    
   

    

     

    
    

     

      for row in comment_df.index:
     
    
   

    

     

    
    

     

          rating = comment_df.loc[row,
      'rating']
     
    
   

    

     

    
    

     
    
      if rating:
     
    
   

    

     

    
    

     

              content = comment_df.loc[row,
      "content"]
     
    
   

    

     

    
    

     

              words = 
      list(jieba.cut(content, cut_all=
      False))
     
    
   

    

     

    
    

     

              names = set(role_names).intersection(set(words))
     
    
   

    

     

    
    

     
        
      for name in names:
     
    
   

    

     

    
    

     

                  roles[name] += 
      int(rating)
     
    
   

    

     

    
    

     

      roles[
      '嬴政'] += roles[
      '嬴政'] + roles[
      '秦始皇'] + roles[
      '张鲁一']
     
    
   

    

     

    
    

     

      roles[
      '吕不韦'] += roles[
      '吕不韦'] + roles[
      '段奕宏']
     
    
   

    

     

    
    

     

      roles[
      '李斯'] += roles[
      '李斯']
     
    
   

    

     

    
    

     

      roles[
      '赵姬'] += roles[
      '赵姬'] + roles[
      '朱珠']
     
    
  

  

   

    

     

    
    

     

      roles
      .pop(
      "秦始皇")
     
    
   

    

     

    
    

     

      roles
      .pop(
      "张鲁一")
     
    
   

    

     

    
    

     

      roles
      .pop(
      "段奕宏")
     
    
   

    

     

    
    

     

      roles
      .pop(
      "朱珠")
     
    
  

  

   

    

     

    
    

     

      role_df = pd.DataFrame(
      list(roles.values()),index=
      list(roles.keys()),columns=[
      '得分'])
     
    
   

    

     

    
    

     

      role_df.sort_values(
      '得分',inplace=
      True,ascending=
      False)
     
    
   

    

     

    
    

     

      role_df.plot(kind=
      'bar')
     
    
  

嬴政是最受观众关注和喜爱的，也符合一统天下得思想。虽然出镜很多的嫪毐，但是评分却很低。

只要你爬虫玩得溜，抓到更多的数据，还有更多有趣好玩的细节等着你来探索！

​​​​​推荐一门我学过的爬虫课程，课程按照网络请求→数据分析→数据存储这几个步骤进行讲解，带你完整的掌握每个技术。从基础爬虫到商业化应用爬虫，非常全面。

点击查看课程详情→《150讲轻松搞定Python爬虫》