一種將多個記錄一起插入的方法？

Question

我想看看是否有辦法改進數據的插入和更新方式。

我正在使用 ORACLE DB 和 JDBC。

我正在做的當前方法是在檢查toUpdate是否為true之后使用 FOR 循環更新（例如）客戶記錄。 一個示例，例如下面的示例代碼，然后調用現有的 DAO update()來執行此操作。 但這不允許將多個數據一起進行 UPSERT。

但是，有沒有更好的方法將多個數據一起 UPSERT？

        if (toUpdate) {
            for (Customer customerRec : customerRecList) 
                customerRecDAO.update(customerRec);
        }

Answer 1

是的，您可以使用批處理：

public <T> int saveInBatch(List<T> records, String sql, Function<T, MapSqlParameterSource> paramFn){

try{
MapSqlParameterSource[] params = records.stream().map(paramFn).toArray(MapSqlParameterSource[]::new);
int rowCount = jdbcTemplate.batchUpdate(sql, params);
return Arrays.stream(rowCount).sum();
}
catch(Exception e){
//exception handling 
}
}

paramFn是 function 的 lambda 以便您可以將 map 記錄到它們的值。 例子可能是

(record)->{
return new MapSqlParameterSource("username" ,username),Integer.class);//just example
}

為什么我們使用 MapSqlParameterSource

您可以通過傳遞較小批次或自定義批次記錄的方式調用 saveInBatch。 假設您有一百萬條記錄，那么您可能希望一次只更新 200-400 條記錄，因此您可以執行以下操作：

private <T> int saveRecords(List<T> records, String sql, Function<T, MapSqlParameterSource> paramFn) throws Exception{

return Lists.partition(records, 300).stream().map(batch-> saveInBatch(batch, sql, paramFn)).mapToInt(Integer::intValue).sum();
}

Note:上面沒有得到很好的優化，或者沒有充分利用流，但這是我很久以前嘗試過的工作代碼:)。