飞道的博客

SpringBatch概述

232人阅读  评论(0)

1、SpringBatch简介

1.1、简介
  • 根据Spring官网描述,Spring Batch是一个轻量级的、完善的批处理应用框架,旨在支持企业系统建立健壮、高效的批处理应用。然而Spring Batch不是一个调度框架,它只关注于任务的处理,如日志监控、事务、并发问题等,但是它可以与其它调度框架一起联合使用,完成相应的调度任务,如Quartz、Tivoli、Control-M等。
  • Spring Batch提供了很多非常实用的组件,包括了日志/跟踪、事务管理、作业处理统计、作业重新启动、跳过和资源管理。它还提供了更先进的技术服务和功能,支持通过优化和分区技术实现极高容量和高性能的批处理作业。Spring Batch既可以用于简单的用例(例如将文件读入数据库或运行存储过程),也可以用于复杂的、大容量的用例(例如在数据库之间移动大容量的数据、转换数据等等)。高容量批处理作业可以以高度可伸缩的方式利用框架来处理大量信息。
1.2、使用场景

简单一点来说,Spring Batch就是一个数据处理的框架,它的使用场景如下:

  • 从数据库,文件或队列中读取大量记录。
  • 以某种方式处理数据。
  • 以修改后的形式写回数据。
1.3、Spring Batch提供哪些功能
  • Transaction management(事务管理)
  • Chunk based processing(基于块的处理)
  • Declarative I/O(声明式的输入输出)
  • Start/Stop/Restart(启动/停止/再启动)
  • Retry/Skip(重试/跳过)

2、Spring Batch框架结构

2.1 、Spring Batch分层结构


这种分层结构有三个重要的组成部分:应用层、核心层、基础架构层。应用层包含所有的批处理作业,通过Spring框架管理程序员自定义的代码。核心层包含了Batch启动和控制所需要的核心类,如:JobLauncher、Job和step等。应用层和核心层建立在基础架构层之上,基础构架层提供顶层的读接口(ItemReader)、写接口(ItemWriter)、处理接口(ItemProcess)和服务(如RetryTemplate:重试模块。可以被应用层和核心层使用)等。

2.2、Spring Batch任务流程


解释一下上面流程中几个参数的含义:

  • JobLauncher:任务启动器。可以理解为程序的入口。
  • Job:表示一个具体的任务,一个任务可以包含一个Step,也可以包含多个Step,由任务启动器进行启动。
  • Step:一个具体的执行步骤,是任务的具体执行内容,一个Step的执行过程包括读数据(ItemReader)、处理数据(ItemProcessor)、写数据(ItemWriter)。
  • JobRepository:批处理任务仓库。用来记录任务状态信息,可以看做是一个数据库的接口。
2.3、Spring Batch任务执行的两种方式

从上述文章中我们可以知道,任务的具体执行内容是Step,然后每一个Step里面都会有一个tasklet,它是一个任务执行单元。

chunk是数据单元的意思,chunk包含在tasklet里面,一个数据单元的大小由你自己决定,然后Spring Batch会进行一个do{}while()循环,就是循环的读数据、处理数据、写数据,直到数据全部处理完成。

2.3.1、tasklet执行方式

根据官网的解读,tasklet的一般适用于 Step 操作不需要读操作,或不需要写操作,或两者都不需要的情景下,tasklet定义如下。

<step id="step_hello">
       <tasklet ref="hello" />
 </step>
2.3.1、chunk执行方式

对于chunk则实用典型的JOB处理方式:读数据、处理数据、写数据,但是需要确定一个数据单元的大小,chunk定义方式如下:

<step id="chunkStep" next="clean">
     <tasklet>
        <chunk reader="reader"  processor="processor"  writer="writer" commit-interval="100" />
     </tasklet>
 </step>

如侵权,请告知,立删!

欢迎各位关注我的JAVAERS公众号,陪你一起学习,一起成长,一起分享JAVA路上的诗和远方。在公众号里面都是JAVA这个世界的朋友,公众号每天会有技术类文章,面经干货,也有进阶架构的电子书籍,如Spring实战、SpringBoot实战、高性能MySQL、深入理解JVM、RabbitMQ实战、Redis设计与实现等等一些高质量书籍,关注公众号即可领取哦。


转载:https://blog.csdn.net/qq_36526036/article/details/105011841
查看评论
* 以上用户言论只代表其个人观点,不代表本网站的观点或立场