一种将多个记录一起插入的方法？

Question

我想看看是否有办法改进数据的插入和更新方式。

我正在使用 ORACLE DB 和 JDBC。

我正在做的当前方法是在检查toUpdate是否为true之后使用 FOR 循环更新（例如）客户记录。 一个示例，例如下面的示例代码，然后调用现有的 DAO update()来执行此操作。 但这不允许将多个数据一起进行 UPSERT。

但是，有没有更好的方法将多个数据一起 UPSERT？

        if (toUpdate) {
            for (Customer customerRec : customerRecList) 
                customerRecDAO.update(customerRec);
        }

Answer 1

是的，您可以使用批处理：

public <T> int saveInBatch(List<T> records, String sql, Function<T, MapSqlParameterSource> paramFn){

try{
MapSqlParameterSource[] params = records.stream().map(paramFn).toArray(MapSqlParameterSource[]::new);
int rowCount = jdbcTemplate.batchUpdate(sql, params);
return Arrays.stream(rowCount).sum();
}
catch(Exception e){
//exception handling 
}
}

paramFn是 function 的 lambda 以便您可以将 map 记录到它们的值。 例子可能是

(record)->{
return new MapSqlParameterSource("username" ,username),Integer.class);//just example
}

为什么我们使用 MapSqlParameterSource

您可以通过传递较小批次或自定义批次记录的方式调用 saveInBatch。 假设您有一百万条记录，那么您可能希望一次只更新 200-400 条记录，因此您可以执行以下操作：

private <T> int saveRecords(List<T> records, String sql, Function<T, MapSqlParameterSource> paramFn) throws Exception{

return Lists.partition(records, 300).stream().map(batch-> saveInBatch(batch, sql, paramFn)).mapToInt(Integer::intValue).sum();
}

Note:上面没有得到很好的优化，或者没有充分利用流，但这是我很久以前尝试过的工作代码:)。