单步批处理作业Starters

本节介绍如何开发 Spring BatchJob与单个Step通过使用 starter 包含在 Spring Cloud Task 中。此Starters允许您使用配置 定义ItemReader一ItemWriter，或完整的单步 Spring BatchJob. 有关 Spring Batch 及其功能的更多信息，请参阅 Spring Batch 文档。spring-doc.cadn.net.cn

要获取 Maven 的Starters，请将以下内容添加到您的构建中：spring-doc.cadn.net.cn

<dependency>
    <groupId>org.springframework.cloud</groupId>
    <artifactId>spring-cloud-starter-single-step-batch-job</artifactId>
    <version>2.3.0</version>
</dependency>

如需获取 Gradle 的Starters，请将以下内容添加到您的构建中：spring-doc.cadn.net.cn

compile "org.springframework.cloud:spring-cloud-starter-single-step-batch-job:2.3.0"

13. 定义作业

您可以使用Starters来定义ItemReader或ItemWriter或完全Job. 在本节中，我们定义需要定义哪些属性才能配置Job.spring-doc.cadn.net.cn

13.1. 属性

首先，Starters提供了一组属性，允许您通过一个步骤配置作业的基础知识：spring-doc.cadn.net.cn

表 1.作业属性
属性 类型 默认值 描述

spring.batch.job.jobNamespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

作业的名称。spring-doc.cadn.net.cn

spring.batch.job.stepNamespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

步骤的名称。spring-doc.cadn.net.cn

spring.batch.job.chunkSizespring-doc.cadn.net.cn

Integerspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

每个事务要处理的项目数。spring-doc.cadn.net.cn

配置上述属性后，您将拥有一个具有单个基于块的步骤的作业。 此基于块的步骤读取、处理和写入Map<String, Object>实例作为 项目。但是，该步骤尚未执行任何作。您需要配置一个ItemReader一 自选ItemProcessor和ItemWriter给它一些事情做。要配置一个 其中，您可以使用属性并配置提供的选项之一 autoconfiguration 或者您可以使用标准 Spring 配置配置自己的 机制。spring-doc.cadn.net.cn

如果自行配置，则输入和输出类型必须与步骤中的其他类型匹配。 这ItemReaderimplementations 和ItemWriter此入门器中的实现都使用 一个Map<String, Object>作为输入和输出项。

14. ItemReader 实现的自动配置

该Starters为四种不同的ItemReader实现：AmqpItemReader,FlatFileItemReader,JdbcCursorItemReader和KafkaItemReader. 在本节中，我们将概述如何使用提供的 autoconfiguration。spring-doc.cadn.net.cn

14.1. AmqpItemReader

您可以使用 AMQP 从AmqpItemReader.这 为此进行自动配置ItemReader实现依赖于两组 配置。首先是配置AmqpTemplate.您可以 自己配置或使用 Spring Boot 提供的自动配置。请参阅 Spring Boot AMQP 文档。 配置AmqpTemplate，您可以启用批处理功能来支持它 通过设置以下属性：spring-doc.cadn.net.cn

表 2.AmqpItemReader性能
属性 类型 默认值 描述

spring.batch.job.amqpitemreader.enabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

如果true，自动配置将执行。spring-doc.cadn.net.cn

spring.batch.job.amqpitemreader.jsonConverterEnabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

指示Jackson2JsonMessageConverter应注册以解析消息。spring-doc.cadn.net.cn

有关更多信息，请参阅AmqpItemReader文档.spring-doc.cadn.net.cn

14.2. FlatFileItemReader

FlatFileItemReader允许您从平面文件（例如 CSV 和其他文件格式）。要从文件中读取，您可以提供一些组件 自己通过正常的 Spring 配置 （LineTokenizer,RecordSeparatorPolicy,FieldSetMapper,LineMapper或SkippedLinesCallback).您还可以使用 以下属性用于配置读取器：spring-doc.cadn.net.cn

表 3.FlatFileItemReader性能
属性 类型 默认值 描述

spring.batch.job.flatfileitemreader.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重新启动。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

Name 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.maxItemcountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

Integer.MAX_VALUEspring-doc.cadn.net.cn

要从文件中读取的最大项目数。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.currentItemCountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

已读取的项目数。在重新启动时使用。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.commentsspring-doc.cadn.net.cn

List<String>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

指示文件中注释行（要忽略的行）的字符串列表。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.resourcespring-doc.cadn.net.cn

Resourcespring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要读取的资源。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.strictspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

如果设置为true，如果找不到资源，读取器会抛出异常。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.encodingspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

FlatFileItemReader.DEFAULT_CHARSETspring-doc.cadn.net.cn

读取文件时要使用的编码。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.linesToSkipspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

指示文件开头要跳过的行数。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.delimitedspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示文件是否为分隔文件（CSV 和其他格式）。只有此属性之一或spring.batch.job.flatfileitemreader.fixedLength可以true同时。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.delimiterspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

DelimitedLineTokenizer.DELIMITER_COMMAspring-doc.cadn.net.cn

如果读取分隔文件，则指示要解析的分隔符。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.quoteCharacterspring-doc.cadn.net.cn

charspring-doc.cadn.net.cn

DelimitedLineTokenizer.DEFAULT_QUOTE_CHARACTERspring-doc.cadn.net.cn

用于确定用于引用值的字符。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.includedFieldsspring-doc.cadn.net.cn

List<Integer>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

用于确定要包含在项中的记录中的哪些字段的索引列表。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.fixedLengthspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示是否按列号解析文件的记录。只有此属性之一或spring.batch.job.flatfileitemreader.delimited可以true同时。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.rangesspring-doc.cadn.net.cn

List<Range>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

用于解析固定宽度记录的列范围列表。请参阅范围文档。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.namesspring-doc.cadn.net.cn

String []spring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

从记录解析的每个字段的名称列表。这些名称是Map<String, Object>在从此返回的项目中ItemReader.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemreader.parsingStrictspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

如果设置为true，如果无法映射字段，则映射失败。spring-doc.cadn.net.cn

请参阅FlatFileItemReader文档.spring-doc.cadn.net.cn

14.3. JdbcCursorItemReader

这JdbcCursorItemReader对关系数据库运行查询并迭代 生成的游标 （ResultSet） 提供生成的项。此自动配置 允许您提供PreparedStatementSetter一个RowMapper，或两者兼而有之。你 还可以使用以下属性来配置JdbcCursorItemReader:spring-doc.cadn.net.cn

表 4.JdbcCursorItemReader性能
属性 类型 默认值 描述

spring.batch.job.jdbccursoritemreader.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重启。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

Name 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.maxItemcountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

Integer.MAX_VALUEspring-doc.cadn.net.cn

要从文件中读取的最大项目数。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.currentItemCountspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

已读取的项目数。在重新启动时使用。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.fetchSizespring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

驱动程序的提示，用于指示每次调用数据库系统要检索多少条记录。为了获得最佳性能，您通常希望将其设置为与块大小匹配。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.maxRowsspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

从数据库读取的最大项目数。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.queryTimeoutspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

查询超时的毫秒数。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.ignoreWarningsspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定读取器在处理时是否应忽略 SQL 警告。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.verifyCursorPositionspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

指示是否应在每次读取后验证游标的位置，以验证RowMapper没有前进光标。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.driverSupportsAbsolutespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示驱动程序是否支持光标的绝对定位。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.useSharedExtendedConnectionspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示连接是否与其他处理共享（因此是事务的一部分）。spring-doc.cadn.net.cn

spring.batch.job.jdbccursoritemreader.sqlspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要从中读取的 SQL 查询。spring-doc.cadn.net.cn

请参阅JdbcCursorItemReader文档.spring-doc.cadn.net.cn

14.4. KafkaItemReader

从 Kafka 主题摄取数据分区很有用，并且正是KafkaItemReader可以做。要配置KafkaItemReader，两件 的配置是必需的。首先，使用 Spring Boot 的 Kafka 配置 Kafka autoconfiguration 是必需的（参见 Spring Boot Kafka 文档）。 从 Spring Boot 配置 Kafka 属性后，您可以配置KafkaItemReader通过设置以下属性来自行设置：spring-doc.cadn.net.cn

表 5.KafkaItemReader性能
属性 类型 默认值 描述

spring.batch.job.kafkaitemreader.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

Name 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.topicspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要从中读取的主题的名称。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.partitionsspring-doc.cadn.net.cn

List<Integer>spring-doc.cadn.net.cn

空列表spring-doc.cadn.net.cn

要从中读取的分区索引列表。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.pollTimeOutInSecondsspring-doc.cadn.net.cn

longspring-doc.cadn.net.cn

30spring-doc.cadn.net.cn

超时poll()操作。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemreader.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重启。spring-doc.cadn.net.cn

请参阅KafkaItemReader文档.spring-doc.cadn.net.cn

15. ItemProcessor 配置

单步批处理作业自动配置接受ItemProcessor如果有一个 在ApplicationContext.如果找到正确类型的 (ItemProcessor<Map<String, Object>, Map<String, Object>>），它是自动接线的 进入步骤。spring-doc.cadn.net.cn

16. ItemWriter 实现的自动配置

此Starters提供自动配置ItemWriter实现 匹配支持的ItemReader实现：AmqpItemWriter,FlatFileItemWriter,JdbcItemWriter和KafkaItemWriter.本节 介绍如何使用自动配置来配置受支持的ItemWriter.spring-doc.cadn.net.cn

16.1. Amqp项目编写器

要写入 RabbitMQ 队列，您需要两组配置。首先，您需要一个AmqpTemplate.获得此目的的最简单方法是使用 Spring Boot 的 RabbitMQ 自动配置。请参阅 Spring Boot RabbitMQ 文档。 配置AmqpTemplate，您可以配置AmqpItemWriter通过将 以下属性：spring-doc.cadn.net.cn

表 6.AmqpItemWriter性能
属性 类型 默认值 描述

spring.batch.job.amqpitemwriter.enabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

如果true时，自动配置将运行。spring-doc.cadn.net.cn

spring.batch.job.amqpitemwriter.jsonConverterEnabledspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

指示是否Jackson2JsonMessageConverter应注册以转换消息。spring-doc.cadn.net.cn

16.2. FlatFileItemWriter

要将文件写入作为步骤的输出，您可以配置FlatFileItemWriter. 自动配置接受已显式配置的组件（例如LineAggregator,FieldExtractor,FlatFileHeaderCallback或FlatFileFooterCallback） 和 通过设置指定的以下属性配置的组件：spring-doc.cadn.net.cn

表7.FlatFileItemWriter性能
属性 类型 默认值 描述

spring.batch.job.flatfileitemwriter.resourcespring-doc.cadn.net.cn

Resourcespring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要读取的资源。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.delimitedspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示输出文件是否为分隔文件。如果true,spring.batch.job.flatfileitemwriter.formatted必须是false.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.formattedspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示输出文件是否为格式化文件。如果true,spring.batch.job.flatfileitemwriter.delimited必须是false.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.formatspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

用于为格式化文件生成输出的格式。格式化是通过使用String.format.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.localespring-doc.cadn.net.cn

Localespring-doc.cadn.net.cn

Locale.getDefault()spring-doc.cadn.net.cn

这Locale生成文件时使用。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.maximumLengthspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

记录的最大长度。如果为 0，则大小不受限制。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.minimumLengthspring-doc.cadn.net.cn

intspring-doc.cadn.net.cn

0spring-doc.cadn.net.cn

最小记录长度。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.delimiterspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

,spring-doc.cadn.net.cn

这String用于分隔分隔文件中的字段。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.encodingspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

FlatFileItemReader.DEFAULT_CHARSETspring-doc.cadn.net.cn

写入文件时要使用的编码。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.forceSyncspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示是否应在刷新时将文件强制同步到磁盘。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.namesspring-doc.cadn.net.cn

String []spring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

从记录解析的每个字段的名称列表。这些名称是Map<String, Object>对于此收到的物品ItemWriter.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.appendspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

指示如果找到输出文件，是否应将文件追加到。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.lineSeparatorspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

FlatFileItemWriter.DEFAULT_LINE_SEPARATORspring-doc.cadn.net.cn

什么String用于分隔输出文件中的行。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

Name 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.saveStatespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

确定是否应保存状态以供重启。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.shouldDeleteIfEmptyspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

如果设置为true，则在作业完成时删除一个空文件（没有输出）。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.shouldDeleteIfExistsspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

如果设置为true并且在输出文件应位于的位置找到一个文件，则在步骤开始之前将其删除。spring-doc.cadn.net.cn

spring.batch.job.flatfileitemwriter.transactionalspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

FlatFileItemWriter.DEFAULT_TRANSACTIONALspring-doc.cadn.net.cn

指示读取器是否为事务队列（指示读取的项在失败时返回到队列）。spring-doc.cadn.net.cn

请参阅FlatFileItemWriter文档.spring-doc.cadn.net.cn

16.3. JdbcBatchItemWriter

要将步骤的输出写入关系数据库，此Starters提供了以下功能 自动配置JdbcBatchItemWriter.自动配置允许您提供 有ItemPreparedStatementSetter或ItemSqlParameterSourceProvider和 配置选项，通过设置以下属性：spring-doc.cadn.net.cn

表8.JdbcBatchItemWriter性能
属性 类型 默认值 描述

spring.batch.job.jdbcbatchitemwriter.namespring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

Name 用于在ExecutionContext.spring-doc.cadn.net.cn

spring.batch.job.jdbcbatchitemwriter.sqlspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

用于插入每个项目的 SQL。spring-doc.cadn.net.cn

spring.batch.job.jdbcbatchitemwriter.assertUpdatesspring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

truespring-doc.cadn.net.cn

是否验证每次插入是否至少更新一条记录。spring-doc.cadn.net.cn

请参阅JdbcBatchItemWriter文档.spring-doc.cadn.net.cn

16.4. 卡夫卡项目编写器

要将步骤输出写入 Kafka 主题，您需要KafkaItemWriter.这个Starters 为KafkaItemWriter通过使用两个地方的设施。 第一个是 Spring Boot 的 Kafka 自动配置。（参见 Spring Boot Kafka 文档。 其次，此Starters允许在编写器上配置两个属性。spring-doc.cadn.net.cn

表 9.KafkaItemWriter性能
属性 类型 默认值 描述

spring.batch.job.kafkaitemwriter.topicspring-doc.cadn.net.cn

Stringspring-doc.cadn.net.cn

nullspring-doc.cadn.net.cn

要写入的 Kafka 主题。spring-doc.cadn.net.cn

spring.batch.job.kafkaitemwriter.deletespring-doc.cadn.net.cn

booleanspring-doc.cadn.net.cn

falsespring-doc.cadn.net.cn

传递给编写器的项是否全部作为删除事件发送到主题。spring-doc.cadn.net.cn

有关KafkaItemWriter，请参阅KafkaItemWiter文档.spring-doc.cadn.net.cn