如何优化休眠批量更新？

Question

我有一个ETL，可以对一堆对象执行批量更新。 在本地，此过程运行非常快，将更新推送到远程服务器时，该过程要慢得多，幅度大于10。由于机密性，我无法发布任何真实代码，但是发布的内容与真实情况非常相似。

有点背景

• 标准弹簧靴项目
• 具有自动生成的ID并且没有任何形式的联接的标准JPA模型
• 所有存储库都继承CrudRepository<T, ID>
• 所有批处理更新均调用CrudRepository repository.saveAll(objects);的以下方法repository.saveAll(objects);

我尝试了以下操作：

• 将所有已解析的对象放入相对较大的线程池中，然后调用repository.saveAll(objects); ;。 等待完成

application.properties

spring.main.web-application-type=none
spring.jpa.generate-ddl=true
spring.jpa.hibernate.ddl-auto=update
spring.jpa.properties.hibernate.temp.use_jdbc_metadata_defaults=false
spring.jpa.properties.hibernate.jdbc.lob.non_contextual_creation=true
logging.level.root=INFO

JPA模型与真实模型非常相似

@Data
@Builder
@AllArgsConstructor
@NoArgsConstructor
@Entity
@Table
public class Item {

    @Id
    @GeneratedValue
    @Column(name = "id", updatable = false, nullable = false)
    private Long id;

    @Column
    private String name;
}

更新服务

@Primary
@Service
public class GenericUpdateServiceImpl implements UpdateService {

    @Override
    public void update(GenericEntityRepository repository, List<?> items) {
        repository.saveAll(items);
    }
}

如何将更新添加到线程池，然后等待线程池完成。 对象在更新期间没有ID

    private void parseForSheet(Sheet sheet, SheetParserProvider parserProvider, ParserState parserState, ExecutorService threadPool) {

        List<GenericParser> parsers = parserProvider.getParsersForSheet(sheet);

        if (!parsers.isEmpty()) {

            for (GenericParser parser : parsers) {
                List<?> items = parser.parse(sheet, parserState);
                threadPool.submit(getRunnableForItems(sheet, parser, items));
            }

            if (LOG.isDebugEnabled()) {
                LOG.debug(sheet.getSheetName());
            }
        }
    }

    private Runnable getRunnableForItems(Sheet sheet, GenericParser parser, List<?> items) {
        return () -> {
            if (!items.isEmpty()) {

                Object item = items.get(0);
                Optional<GenericEntityRepository> repositoryOp = repositoryProvider.getRepositoryForClass(item.getClass());
                repositoryOp.ifPresent(repo -> {

                    // run updates
                    updateService.update(repo, items);

                    if (LOG.isDebugEnabled()) {
                        LOG.debug(String.format("updated %d items for sheet %s and parser %s",
                                items.size(),
                                sheet.getSheetName(),
                                parser.getClass().getSimpleName()
                        ));
                    }
                });
            }
        };
    }

我希望从本地数据库到远程数据库的过渡会更长一些，但不会是原来的10倍。 不使用休眠的数据库查询相对较快。 在本地解析单个文件时，只需不到30秒，而在将文件解析到远程数据库时，则需要约10分钟