用Python分析了7w+《悬崖之上》影评，看看观众都是怎么说？

2021-05-11 19:37 265人阅读评论(0)

大家好，我是启航

五一假期的的时候和家人看了张艺谋导演《悬崖之上》，觉得还不错。并且在五一档的电影中，要说最为好看的可谓是张艺谋导演《悬崖之上》了，在五一档电影中评分排名第一。

虽然总票房还差一点，但是我觉得总票房升上去只是时间问题，毕竟拍片场次那么高。

本文通过爬取《悬崖之上》豆瓣短评，进行数据可视化分析，在后台回复【悬崖】即可获得全部代码。

数据采集

在之前的文章我们已经对爬虫这方面讲解了很多，数据采集有过详细的介绍，有不懂的小伙伴可以后台回复：入群，我们一起交流。这里我们直接展示爬虫核心代码：


  
   
    
     
    
    
     
      for page 
      in range(
      80):
     
    
   
    
     
    
    
        
      try:
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
             params = (
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
                 (
      'start', str(page * 
      20)),
     
    
   
    
     
    
    
     
                 (
      'limit', 
      '20'),
     
    
   
    
     
    
    
     
                 (
      'status', 
      'P'),
     
    
   
    
     
    
    
     
                 (
      'sort', 
      'new_score'),
     
    
   
    
     
    
    
     
                 (
      'comments_only', 
      '1'),
     
    
   
    
     
    
    
     
                 (
      'ck', 
      'qN8_'),
     
    
   
    
     
    
    
     
             )
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
             r = requests.get(
      'https://movie.douban.com/subject/32493124/comments', headers=headers, params=params, cookies=cookies)
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
             yonghumingchengs = re.findall(
      '<a title="(.*?)href.*?">', r.json()[
      'html'], re.S)
     
    
   
    
     
    
    
     
             youyongshus = re.findall(
      '<span class="votes vote-count">(.*?)</span>', r.json()[
      'html'], re.S)
     
    
   
    
     
    
    
     
             pinglunshijians = re.findall(
      '<span class="comment-time " title="(.*?)">', r.json()[
      'html'], re.S)
     
    
   
    
     
    
    
     
             pingluns = re.findall(
      '<span class="short">(.*?)</span>', r.json()[
      'html'], re.S)
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
            
      for i 
      in range(
      20):
     
    
   
    
     
    
    
     
                 a = a + 
      1
     
    
   
    
     
    
    
     
                 sheet.append([yonghumingchengs[i], youyongshus[i], pinglunshijians[i].split()[
      0].split(
      "-")[
      -1],
     
    
   
    
     
    
    
     
                               pinglunshijians[i].split()[
      1].split(
      ":")[
      0], pingluns[i]])
     
    
   
    
     
    
    
     
             print(
      f"已爬取完第{page}页数据,存入{i + 1}条数据....")
     
    
   
    
     
    
    
        
      except:
     
    
   
    
     
    
    
     
             wb.save(
      "全部.xlsx")
     
    
   
    
     
    
    
     
             print(
      f"共爬取{page}页数据，存入{a}条数据....")
     
    
   
    
     
    
    
     
             ~~~

数据清洗

合并Excel

因为是分全部、好评、一般、差评四个部分来对影评进行爬取的，所以我们要对这四个影评文件夹进行合并。代码如下：


  
   
    
     
    
    
     
      for i 
      in files:
     
    
   
    
     
    
    
     
         wb = openpyxl.load_workbook(i)
     
    
   
    
     
    
    
     
         sheet = wb[
      '豆瓣评论']
     
    
   
    
     
    
    
        
      for i 
      in range(
      2,
      502):
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
             A_cell = sheet[
      f'A{i}']
     
    
   
    
     
    
    
     
             B_cell = sheet[
      f'B{i}']
     
    
   
    
     
    
    
     
             C_cell = sheet[
      f'C{i}']
     
    
   
    
     
    
    
     
             D_cell = sheet[
      f'D{i}']
     
    
   
    
     
    
    
     
             E_cell = sheet[
      f'E{i}']
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
             a = [A_cell.value,int(B_cell.value),int(C_cell.value),int(D_cell.value),E_cell.value]
     
    
   
    
     
    
    
      
     
    
   
    
     
    
    
     
             sheet_1.append(a)
     
    
   
    
     
    
    
     
             ~~~

导入景点数据

用pandas读取合并后的影评数据并预览。


  
   
    
     
    
    
     
      df = pd.read_excel(
      '总.xlsx',names=[
      '用户名称',
      '点赞数',
      '评论日期',
      '评论时间',
      '评论内容'])
     
    
   
    
     
    
    
     
      print(df.head())