飞道的博客

用 Java 拿下 HTML 分分钟写个小爬虫

356人阅读  评论(0)

本文适合有 Java 基础知识的人群

本文作者:HelloGitHub-秦人

HelloGitHub 推出的《讲解开源项目》系列,今天给大家带来一款开源 Java 版一款网页元素解析框架——jsoup,通过程序自动获取网页数据。

项目源码地址:https://github.com/jhy/jsoup

一、项目介绍

jsoup 是一款 Java 的 HTML 解析器。可直接解析某个 URL 地址的 HTML 文本内容。它提供了一套很省力的 API,可通过 DOM、CSS 以及类似于 jQuery 选择器的操作方法来取出和操作数据。

jsoup 主要功能:

  1. 从一个 URL、文件或字符串中解析 HTML。

  2. 使用 DOM 或 CSS 选择器来查找、取出数据。

  3. 可操作 HTML 元素、属性、文本。

二、使用框架

2.1 准备工作

  • 掌握 HTML 语法

  • Chrome 浏览器调试技巧

  • 掌握开发工具 idea 的基本操作

2.2 学习源码

将项目导入 idea 开发工具,会自动下载 maven 项目需要的依赖。源码的项目结构如下:

快速学习源码是每个程序员必备的技能,我总结了以下几点:

  1. 阅读项目 ReadMe 文件,可以快速知道项目是做什么的。

  2. 概览项目 pom.xml 文件,了解项目引用了哪些依赖。

  3. 查看项目结构、源码目录、测试用例目录,好的项目结构清晰,层次明确。

  4. 运行测试用例,快速体验项目。

2.3 下载项目

git clone https://github.com/jhy/jsoup

2.4 运行项目测试代码

通过上面的方法,我们很快可知 example 目录是测试代码,那我们直接来运行。注:有些测试代码需要稍微改造一下才可以运行。

例如,jsoup 的 Wikipedia 测试代码:


   
  1. public class Wikipedia {
  2.     public static void main(String[] args) throws IOException {
  3.         Document doc = Jsoup.connect( "http://en.wikipedia.org/").get();
  4.         log(doc.title());
  5.         Elements newsHeadlines = doc. select( "#mp-itn b a");
  6.          for (Element headline : newsHeadlines) {
  7.             log( "%s\n\t%s", headline.attr( "title"), headline.absUrl( "href"));
  8.         }
  9.     }
  10.     private static void log(String msg, String... vals) {
  11.         System.out. println(String.format(msg, vals));
  12.     }
  13. }

说明:上面代码是获取页面(http://en.wikipedia.org/)包含(#mp-itn b a)选择器的所有元素,并打印这些元素的 title , herf 属性。维基百科 国内无法访问,所以上面这段代码运行会报错。

改造后可运行的代码如下:


   
  1. public static void main(String[] args) throws IOException {
  2.     Document doc = Jsoup.connect( "https://www.baidu.com/").get();
  3.     Elements newsHeadlines = doc. select( "a[href]");
  4.      for (Element headline : newsHeadlines) {
  5.         System.out. println( "href: " +headline.absUrl( "href") );
  6.     }
  7. }

三、工作原理

Jsoup 的工作原理,首先需要指定一个 URL,框架发送 HTTP 请求,然后获取响应页面内容,然后通过各种选择器获取页面数据。整个工作流程如下图:

以上面为例:

3.1 发请求

Document doc = Jsoup.connect("https://www.baidu.com/").get();

这行代码就是发送 HTTP 请求,并获取页面响应数据。

3.2 数据筛选

Elements newsHeadlines = doc.select("a[href]");

定义选择器,获取匹配选择器的数据。

3.3 数据处理


   
  1. for (Element headline : newsHeadlines) {
  2.         System.out. println( "href: " +headline.absUrl( "href") );
  3.     }

这里对数据只做了一个简单的数据打印,当然这些数据可写入文件或数据的。

四、实战

获取豆瓣读书 -> 新书速递中每本新书的基本信息。包括:书名、书图片链接、作者、内容简介(详情页面)、作者简介(详情页面)、当当网书的价格(详情页面),最后将获取的数据保存到 Excel 文件。

目标链接:https://book.douban.com/latest?icn=index-latestbook-all

4.1 项目 pom.xml 文件

项目引入 jsoup、lombok、easyexcel 三个库。


   
  1. <?xml version= "1.0" encoding= "UTF-8"?>
  2. <project xmlns= "http://maven.apache.org/POM/4.0.0"
  3.          xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance"
  4.          xsi:schemaLocation= "http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  5.     <modelVersion> 4.0 .0</modelVersion>
  6.     <groupId>org.example</groupId>
  7.     <artifactId>JsoupTest</artifactId>
  8.     <version> 1.0-SNAPSHOT</version>
  9.     <properties>
  10.         <maven.compiler.target> 1.8</maven.compiler.target>
  11.         <maven.compiler.source> 1.8</maven.compiler.source>
  12.     </properties>
  13.     <dependencies>
  14.         <dependency>
  15.             <groupId>org.jsoup</groupId>
  16.             <artifactId>jsoup</artifactId>
  17.             <version> 1.13 .1</version>
  18.         </dependency>
  19.         <dependency>
  20.             <groupId>org.projectlombok</groupId>
  21.             <artifactId>lombok</artifactId>
  22.             <version> 1.18 .12</version>
  23.         </dependency>
  24.         <dependency>
  25.             <groupId>com.alibaba</groupId>
  26.             <artifactId>easyexcel</artifactId>
  27.             <version> 2.2 .6</version>
  28.         </dependency>
  29.     </dependencies>
  30. </project>

4.2 解析页面数据


   
  1. public class BookInfoUtils {
  2.     public static List<BookEntity> getBookInfoList(String url) throws IOException {
  3.         List<BookEntity>  bookEntities= new ArrayList<>();
  4.         Document doc = Jsoup.connect(url).get();
  5.         Elements liDiv = doc. select( "#content > div > div.article > ul > li");
  6.          for (Element li : liDiv) {
  7.             Elements urls = li. select( "a[href]");
  8.             Elements imgUrl = li. select( "a > img");
  9.             Elements bookName = li. select( " div > h2 > a");
  10.             Elements starsCount = li. select( " div > p.rating > span.font-small.color-lightgray");
  11.             Elements author = li. select( "div > p.color-gray");
  12.             Elements description = li. select( " div > p.detail");
  13.             String bookDetailUrl = urls.get( 0).attr( "href");
  14.             BookDetailInfo detailInfo = getDetailInfo(bookDetailUrl);
  15.             BookEntity bookEntity = BookEntity.builder()
  16.                     .detailPageUrl(bookDetailUrl)
  17.                     .bookImgUrl(imgUrl.attr( "src"))
  18.                     .bookName(bookName.html())
  19.                     .starsCount(starsCount.html())
  20.                     .author(author.text())
  21.                     .bookDetailInfo(detailInfo)
  22.                     .description(description.html())
  23.                     .build();
  24. //            System.out.println(bookEntity);
  25.             bookEntities.add(bookEntity);
  26.         }
  27.          return bookEntities;
  28.     }
  29.      /**
  30.      *
  31.      * @param detailUrl
  32.      * @return
  33.      * @throws IOException
  34.      */
  35.     public static BookDetailInfo getDetailInfo(String detailUrl)throws IOException{
  36.         Document doc = Jsoup.connect(detailUrl).get();
  37.         Elements content = doc. select( "body");
  38.         Elements price = content. select( "#buyinfo-printed > ul.bs.current-version-list > li:nth-child(2) > div.cell.price-btn-wrapper > div.cell.impression_track_mod_buyinfo > div.cell.price-wrapper > a > span");
  39.         Elements author = content. select( "#info > span:nth-child(1) > a");
  40.         BookDetailInfo bookDetailInfo = BookDetailInfo.builder()
  41.                 .author(author.html())
  42.                 .authorUrl(author.attr( "href"))
  43.                 .price(price.html())
  44.                 .build();
  45.          return bookDetailInfo;
  46.     }
  47. }

这里的重点是要获取网页对应元素的选择器

例如:获取 li.select("div > p.color-gray")div > p.color-gray 是怎么知道的。

使用 chrome 的小伙伴应该都猜到了。打开 chrome 浏览器 Debug 模式,Ctrl + Shift +C 选择一个元素,然后在 html 右键选择 Copy ->Copy selector,这样就可以获取当前元素的选择器。如下图:

4.3 存储数据到 Excel

为了数据更好查看,我将通过 jsoup 抓取的数据存储的 Excel 文件,这里我使用的 easyexcel 快速生成 Excel 文件。

Excel 表头信息


   
  1. @Data
  2. @Builder
  3. public class ColumnData {
  4.     @ExcelProperty( "书名称")
  5.     private String bookName;
  6.     @ExcelProperty( "评分")
  7.     private String starsCount;
  8.     @ExcelProperty( "作者")
  9.     private String author;
  10.     @ExcelProperty( "封面图片")
  11.     private String bookImgUrl;
  12.     @ExcelProperty( "简介")
  13.     private String description;
  14.     @ExcelProperty( "单价")
  15.     private String price;
  16. }

生成 Excel 文件


   
  1. public class EasyExcelUtils {
  2.     public static void simpleWrite(List<BookEntity> bookEntityList) {
  3.         String fileName =  "D:\\devEnv\\JsoupTest\\bookList" + System.currentTimeMillis() +  ".xlsx";
  4.         EasyExcel.write(fileName, ColumnData.class).sheet( "书本详情").doWrite(data(bookEntityList));
  5.         System.out. println( "excel文件生成完毕...");
  6.     }
  7.     private static List<ColumnData> data(List<BookEntity> bookEntityList) {
  8.         List<ColumnData> list =  new ArrayList<>();
  9.         bookEntityList.forEach(b -> {
  10.             ColumnData data = ColumnData.builder()
  11.                     .bookName(b.getBookName())
  12.                     .starsCount(b.getStarsCount())
  13.                     .author(b.getBookDetailInfo().getAuthor())
  14.                     .bookImgUrl(b.getBookImgUrl())
  15.                     .description(b.getDescription())
  16.                     .price(b.getBookDetailInfo().getPrice())
  17.                     .build();
  18.             list.add(data);
  19.         });
  20.          return list;
  21.     }
  22. }

4.4 最终展示效果

最终的效果如下图:

以上就是从想法到实践,我们就在实战中使用了 jsoup 的基本操作。

完整代码地址:https://github.com/hellowHuaairen/JsoupTest

五、最后

Java HTML Parser 库:jsoup,把它当成简单的爬虫用起来还是很方便的吧?

为什么会讲爬虫?大数据,人工智能时代玩的就是数据,数据很重要。作为懂点技术的我们,也需要掌握一种获取网络数据的技能。当然也有一些工具 Fiddler、webscraper 等也可以抓取你想要的数据。

教程至此,你应该也能对 jsoup 有一些感觉了吧。编程是不是也特别有意思呢?参考我上面的实战案例,有好多网站可以实践一下啦~欢迎在评论区晒你的实战。



关注公众号加入交流群(作者在 Java 群)

讲解开源项目系列——让对开源项目感兴趣的人不再畏惧、让开源项目的发起者不再孤单。欢迎开源项目作者联系我(微信:xueweihan,备注:讲解)加入我们,让更多人爱上、贡献开源~

“分享”让本文被更多人看到、“在看”支持我们。


转载:https://blog.csdn.net/a419240016/article/details/108373494
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场