带有项目列表的 Spring Boot 批量自定义 ItemWriter

Question

我正在使用 spring boot 批处理，我有一个自定义读取器、处理器和写入器。

自定义阅读器 ----> 读取内容，返回 ReadItem

自定义处理器---->读取ReadItem，返回List

自定义 Writer ----> 应该读取 List （这是问题所在）

我的自定义阅读器：

@Component
public class MyCustomReader extends JdbcCursorItemReader<ReadItem> 
implements ItemReader<ReadItem>{

public MyCustomReader(@Autowired DataSource primaryDataSource) {
    
    setSql("SELECT FROM data where processed = false");
    setFetchSize(100);
    setRowMapper(new ItemRowMapper());
}

public class ItemRowMapper implements RowMapper<ReadItem> {
    @Override
    public ReadItem mapRow(ResultSet rs, int rowNum) throws SQLException {

        ReadItem item  = new ReadItem();
        item.setId_Rame(rs.getString("ID"));
        item.setTime(rs.getString("TIME"));

        return item;
    }
}
}

我的自定义处理器：

@Component
public class MyCustomProcessor implements ItemProcessor<ReadItem, List<? extends 
ProcessedItem>> {

@Override
public List<? extends ProcessedItem> process(ReadItem item) throws Exception {
    
    List<ProcessedItem> listData = new ArrayList<>();
    
    // processing data to build the list to return

    return listData;
}
}

我的自定义作家：

@Component
public class MyCustomWriter implements ItemWriter<ProcessedItem> {


@Override
public void write(List<? extends ProcessedItem> items) throws Exception {


    for (ProcessedItem data : items) {
        // process data
    }
 }
}

MyBatchConfig ：

@Configuration
@EnableBatchProcessing
public class MyBatchConfig {

@Autowired
public JobBuilderFactory jobBuilderFactory;

@Autowired
public StepBuilderFactory stepBuilderFactory;
    
@Autowired
MyCustomReader myCustomReader;

@Autowired
MyCustomWriter myCustomWriter;

@Autowired
MyCustomProcessor myCustomProcessor;

@Autowired 
@Qualifier("pgsqlTransactionManager") 
private PlatformTransactionManager transactionManager;

@Bean
public Job createJob() {
    return jobBuilderFactory.get("MyJob")
            .incrementer(new RunIdIncrementer())
            .flow(createStep()).end().build();
}

@Bean
public Step createStep() {
    return stepBuilderFactory.get("MyStep")
            .<ReadItem, List<? extends ProcessedItem>> chunk(1)
            .reader(myCustomReader)
            .processor(myCustomProcessor)
            .writer(myCustomWriter)
            .transactionManager(transactionManager)
            .build();
}
}

我在 MyBatchConfig 中遇到编译错误：

SimpleStepBuilder<ReadItem,List<? 类型中的方法 writer(ItemWriter<? super List<? extends ProcessedItem>>) extends ProcessedItem>> 不适用于参数（MyCustomWriter）

有解决方法吗？

Answer 1

在基于块的批处理中，读取器和处理器一次读取/处理单个记录，将其保存在缓冲区中，并在满足块大小后将所有记录发送给写入器。 如果您注意到ItemWriter的签名，它是List<? extends T> items List<? extends T> items ，这意味着它接受处理器返回的项目列表。 在您的情况下，您的处理器正在返回List<ProcessedItem>因此您的作者会期望List<List<ProcessedItem>> 。 要解决您的问题，请将MyCustomWriter的写入方法更改为以下

@Override
public void write(List<List<ProcessedItem> items) throws Exception {

    items.stream().flatMap(Collection::stream).forEach(data -> { //data is ProcessedItem instance
        // process data 
    });
 }

Answer 2

将您的 createStep() 方法更改为如下所示...

@Bean
public Step createStep() {
    return stepBuilderFactory.get("MyStep")
            .<ReadItem, ProcessedItem> chunk(1)
            .reader(myCustomReader)
            .processor(myCustomProcessor)
            .writer(myCustomWriter)
            .transactionManager(transactionManager)
            .build();
}

您不需要指定 List<? extends ProcessedItem> 因为默认情况下 ItemWriters 总是作用于项目列表。