Python爬取美桌网美女图片

因个人工作需要，想从网上爬一些美女图片当配图，于是搜到了美桌网，在meinvtag***标签下有一些高清美女图片，正符合我的需要，因此写了个简单爬虫下载。

首先观察网站特点。以meinvtag2标签为例，总共有5个页面，类似于http://www.win4000.com/meinvtag2_1.html，最后的数字代表页数，是爬虫最喜欢的url构成，直接可以开5个线程单独处理。在页面html源码中可以提取到每个相册集的url，打开相册集就可以一张张查看所有图片。图片页面的url构成同样简单，类似于http://www.win4000.com/meinv198397_2.html，但是无法获知某个相册集下有多少张图片，我采取的方法是，从1到50循环获取，当获取不到图片时跳出循环。代码如下

  

   

    

     

    
    

     

      import requests
     
    
   

    

     

    
    

     

      from bs4 
      import BeautifulSoup
     
    
   

    

     

    
    

     

      import threading
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def download_img_from_url(path,url):
     
    
   

    

     

    
    

     
    
      with open(path, 
      'wb') 
      as f:
     
    
   

    

     

    
    

     

              f.write(requests.get(url).content)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def get_BS(url):
     
    
   

    

     

    
    

     

          html = requests.get(url)
     
    
   

    

     

    
    

     
    
      try:
     
    
   

    

     

    
    

     

              html.raise_for_status()
     
    
   

    

     

    
    

     
        
      return BeautifulSoup(html.text, 
      "lxml")
     
    
   

    

     

    
    

     
    
      except:
     
    
   

    

     

    
    

     
        
      return 
      None
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      def download(i):
     
    
   

    

     

    
    

     

          page_url = page_url_format.format(i)
     
    
   

    

     

    
    

     

          bs = get_BS(page_url)
     
    
   

    

     

    
    

     

          lists = bs.find_all(
      "div",{
      'class':
      'tab_box'})
     
    
   

    

     

    
    

     

          tags = lists[
      1].find_all(
      'a')
     
    
   

    

     

    
    

     
    
      for tag 
      in tags:
     
    
   

    

     

    
    

     

              album_url = tag.get(
      'href')
     
    
   

    

     

    
    

     

              album_url = album_url[
      0:
      -5] + 
      '_'
     
    
   

    

     

    
    

     
        
      for id 
      in range(
      1,
      50):
     
    
   

    

     

    
    

     

                  img_page_url = album_url + str(id) + 
      ".html"
     
    
   

    

     

    
    

     
            
      #print(img_page_url)
     
    
   

    

     

    
    

     

                  bs2 = get_BS(img_page_url)
     
    
   

    

     

    
    

     
            
      if bs2:
     
    
   

    

     

    
    

     

                      img_url = bs2.find(
      "img", class_=
      'pic-large').get(
      'data-original')
     
    
   

    

     

    
    

     

                      name = img_page_url[
      28:
      -5]
     
    
   

    

     

    
    

     

                      download_img_from_url(save_path.format(name),img_url)
     
    
   

    

     

    
    

     
            
      else:
     
    
   

    

     

    
    

     
                
      break
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      page_url_format = 
      'http://www.win4000.com/meinvtag2_{}.html'
     
    
   

    

     

    
    

     

      save_path = 
      'D:\\image\\{}.jpg'
     
    
   

    

     

    
    

     

      threads = []
     
    
   

    

     

    
    

     

      for i 
      in range(
      1,
      6):  
      #直接每一页开一个线程
     
    
   

    

     

    
    

     

          thread = threading.Thread(target=
      lambda:download(i))
     
    
   

    

     

    
    

     

          thread.start()
     
    
   

    

     

    
    

     

          threads.append(thread)
     
    
   

    

     

    
    

     
 
     
    
   

    

     

    
    

     

      for thread 
      in threads:
     
    
   

    

     

    
    

     

          thread.join()