Spring 批处理作业已完成，但其线程从未被破坏

Question

我在成功完成的 spring 批处理应用程序中有一项工作，但完成后，它的线程进入等待 state。 随着越来越多的作业实例被执行，tomcat 的线程数不断增加。

这是作业配置：

@Bean
@Scope("singleton")
@Qualifier(value = "job1")
public Job job() {
    return jobBuilderFactory.get("job1")
            .incrementer(new RunIdIncrementer())
            .flow(step1())
            .end()
            .preventRestart()
            .build();
}

@Bean
public Step step1() {
    return stepBuilderFactory.get("step1")
            .<Buylead, Buylead>chunk(10000)
            .reader(itemReader())
            .writer(itemWriter())
            .build();
}

public JdbcCursorItemReader<Buylead> itemReader() {
    JdbcCursorItemReader<Buylead> reader = new JdbcCursorItemReader<>();

    reader.setDataSource(dataSource);
    reader.setSql(" --- WHatever Query ----");
    reader.setRowMapper(new MapperBL());

    return reader;
}

public ItemWriter<Buylead> itemWriter(){
    FlatFileItemWriter<Buylead> itemWriter = new FlatFileItemWriter() ;

    itemWriter.setResource(new FileSystemResource("output/buyleadSolrDoc.xls"));
    itemWriter.setLineAggregator(new DelimitedLineAggregator<Buylead>() { {
                setFieldExtractor(new BeanWrapperFieldExtractor<Buylead>() { {
                    setNames(new String[] {*************** }); } }); } });
    itemWriter.setShouldDeleteIfEmpty(true);
    return itemWriter;
}

并且数据源保存在另一个配置 class 中。

这是主要的 class

@SpringBootApplication
@EnableBatchProcessing
public class Application  extends DefaultBatchConfigurer{

    public static void main(String[] args) {
        SpringApplication.run(SearchApplication.class, args);
    }
    
    @Override
    public void setDataSource(DataSource dataSource) {
        // override to do not set datasource even if a datasource exist.
        // initialize will use a Map based JobRepository (instead of database)
    }

}

作业正在成功执行。 但是它的线程去等待 state。

这是应用程序的 ThreadDump 部分

http-nio-8080-exec-2" #22 daemon prio=5 os_prio=0 cpu=0.11ms elapsed=29.43s tid=0x00007fcb6d6ddd60 nid=0xc724 waiting on condition  [0x00007fcae3ffe000]
   java.lang.Thread.State: WAITING (parking)
    at jdk.internal.misc.Unsafe.park(java.base@15.0.1/Native Method)
    - parking to wait for  <0x0000000713c00710> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject)
    at java.util.concurrent.locks.LockSupport.park(java.base@15.0.1/LockSupport.java:341)
    at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionNode.block(java.base@15.0.1/AbstractQueuedSynchronizer.java:505)
    at java.util.concurrent.ForkJoinPool.managedBlock(java.base@15.0.1/ForkJoinPool.java:3137)
    at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(java.base@15.0.1/AbstractQueuedSynchronizer.java:1614)
    at java.util.concurrent.LinkedBlockingQueue.take(java.base@15.0.1/LinkedBlockingQueue.java:435)
    at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:108)
    at org.apache.tomcat.util.threads.TaskQueue.take(TaskQueue.java:33)
    at java.util.concurrent.ThreadPoolExecutor.getTask(java.base@15.0.1/ThreadPoolExecutor.java:1056)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(java.base@15.0.1/ThreadPoolExecutor.java:1116)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(java.base@15.0.1/ThreadPoolExecutor.java:630)
    at org.apache.tomcat.util.threads.TaskThread$WrappingRunnable.run(TaskThread.java:61)
    at java.lang.Thread.run(java.base@15.0.1/Thread.java:832)*

请建议关闭 Park state 中的线程的方法。

Answer 1

Spring Batch 不直接创建或管理线程。 它将其委托给不同位置的TaskExecutor实现：

• JobLauncher委托给任务执行器来启动作业
• StepBuilder委托给任务执行器来创建多线程步骤
• FlowBuilder委托给任务执行器以创建拆分流并并行运行步骤
• AsyncItemProcessor委托给任务执行器以在单独的线程中异步处理项目
• TaskExecutorPartitionHandler委托给一个任务执行器来处理不同线程中的分区
• ETC

在所有这些情况下，线程生命周期由底层TaskExecutor实现管理。 如果您将任务执行器与 Spring Batch 一起使用，则需要确保它在不再需要时正确停止/关闭。 从您分享的内容来看，您似乎没有在 Spring 批处理配置中使用任务执行器，因此您应该在应用程序上下文中的某个位置定义了一个未正确停止的任务执行器。