jparespositry saveAll一次可以处理的最大记录数是多少？

Question

在我的spring-boot应用程序中，我正在运行一个调度作业，该作业正在从一个表中获取记录，然后将另一个表保存为存档，我遇到了一个问题，所以现在我选择要保存的记录大约有40万条左右，以及何时工作正在执行，它一直在继续。 ja可以处理这么多要立即保存的数据吗？ 以下是我的配置和方法。

#--Additional Settings for Batch Processing --#
spring.jpa.properties.hibernate.jdbc.batch_size=5000
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.generate_statistics=true
spring.jpa.properties.hibernate.jdbc.batch_versioned_data = true
rewriteBatchedStatements=true
cachePrepStmts=true

agentAuditTrailArchiveList对象的大小超过400,000。

private void archiveAgentAuditTrail(int archiveTimePeriod) {
    List<AgentAuditTrail> archivableAgentAuditTrails = agentAuditTrailRepository
        .fecthArchivableData(LocalDateTime.now().minusDays(archiveTimePeriod));
    List<AgentAuditTrailArchive> agentAuditTrailArchiveList = new ArrayList<>();

    archivableAgentAuditTrails
        .forEach(agentAuditTrail -> agentAuditTrailArchiveMapper(agentAuditTrailArchiveList, agentAuditTrail));
    System.out.println(" agentAuditTrailArchiveList = " + agentAuditTrailArchiveList.size());
    System.out.println("archivableAgentAuditTrails = " + archivableAgentAuditTrails.size());
    agentAuditTrailArchiveRepository.saveAll(agentAuditTrailArchiveList);

    agentAuditTrailRepository.deleteInBatch(archivableAgentAuditTrails);
    }

Answer 1

假设您实际上是作为Spring Batch作业执行此操作，则此操作已得到处理。 您只需要在批处理作业步骤配置中设置块大小，这样它一次只能处理一定数量的记录。 请参阅下面的批处理步骤配置示例。

除非总会变得很小，否则您永远都不想将整个工作作为一次提交来尝试。 一次提交即可完成所有操作，使您可以轻松浏览失败情况和数据完整性问题的详细列表。

@Bean
public Step someStepInMyProcess(FlatFileItemReader<MyDataObject> reader,
        MyProcesssor processor, ItemWriter<MyDataObject> writer) {
    return stepBuilders.get("SomeStepName")
            .<MyDataObject, MyDataObject>chunk(50)
            .reader( reader )
            .processor( processor )
            .writer(writer)
            .transactionManager(transactionManager)
            .build();
}