PreparedStatement比使用JDBC的语句慢

Question

我目前正在从事天气监测。 例如，温度记录具有日期和位置（坐标）。 所有坐标都已经在数据库中，我需要添加的是时间和温度值。 值和元数据在CSV文件中。 基本上我正在做的是：

1. 通过文件名获取时间
2. 将时间插入数据库，并保留主键
3. 读取文件，获取值和坐标
4. 选择查询以获取坐标的ID
5. 使用外键（时间和坐标）插入天气值

问题是

“从纬度= ...和经度= ...的位置选择ID”

太慢了。 我有23万个文件，当前一个文件要花2分钟以上的时间来处理...编辑：通过更改索引，它现在需要25秒，仍然太慢。 而且，PreparedStatement仍然较慢，我不知道为什么。

private static void putFileIntoDB(String variableName, ArrayList<String[]> matrix, File file, PreparedStatement prepWeather, PreparedStatement prepLoc, PreparedStatement prepTime, Connection conn){
    try {

        int col = matrix.size();
        int row = matrix.get(0).length;

        String ts = getTimestamp(file);
        Time time = getTime(ts);

        // INSERT INTO takes 14ms
        prepTime.setInt(1, time.year);
        prepTime.setInt(2, time.month);
        prepTime.setInt(3, time.day);
        prepTime.setInt(4, time.hour);
        ResultSet rs = prepTime.executeQuery();
        rs.next();
        int id_time = rs.getInt(1);


        //for each column (longitude)
        for(int i = 1 ; i < col ; ++i){

            // for each row (latitude)
            for(int j = 1 ; j < row ; ++j){

                try {
                    String lon = matrix.get(i)[0];
                    String lat = matrix.get(0)[j];
                    String var = matrix.get(i)[j];
                    lat = lat.substring(1, lat.length()-1);
                    lon = lon.substring(1, lon.length()-1);
                    double latitude = Double.parseDouble(lat);
                    double longitude = Double.parseDouble(lon);
                    double value = Double.parseDouble(var);

                    // With this prepared statement, instruction needs 16ms to be executed
                    prepLoc.setDouble(1, latitude);
                    prepLoc.setDouble(2, longitude);
                    ResultSet rsLoc = prepLoc.executeQuery();
                    rsLoc.next();
                    int id_loc = rsLoc.getInt(1);

                    // Whereas this block takes 1ms
                    Statement stm = conn.createStatement();
                    ResultSet rsLoc = stm.executeQuery("SELECT id from location WHERE latitude = " + latitude + " AND longitude =" + longitude + ";" );
                    rsLoc.next();
                    int id_loc = rsLoc.getInt(1);


                    // INSERT INTO takes 1ms
                    prepWeather.setObject(1, id_time);
                    prepWeather.setObject(2, id_loc);
                    prepWeather.setObject(3, value);
                    prepWeather.execute();

                } catch (SQLException ex) {
                    Logger.getLogger(ECMWFHelper.class.getName()).log(Level.SEVERE, null, ex);
                }
            }

        }
    } catch (SQLException ex) {
        Logger.getLogger(ECMWFHelper.class.getName()).log(Level.SEVERE, null, ex);        
    }

}

我已经做了：

• 在纬度和经度列的表位置上设置两个B树索引
• 删除外键约束

参数中的PreparedStatement为：

        // Prepare selection for weather_radar foreign key
        PreparedStatement prepLoc = conn.prepareStatement("SELECT id from location WHERE latitude = ? AND longitude = ?;");

        PreparedStatement prepTime = conn.prepareStatement("INSERT INTO time(dataSetID, year, month, day, hour) " +
                "VALUES(" + dataSetID +", ?, ? , ?, ?)" +
                        " RETURNING id;");            

        // PrepareStatement for weather_radar table
        PreparedStatement prepWeather = conn.prepareStatement("INSERT INTO weather_radar(dataSetID, id_1, id_2, " + variableName + ")"
                            + "VALUES(" + dataSetID + ", ?, ?, ?)");

有什么想法可以加快进度吗？

• Ubuntu 16.04 LTS 64位
• 15.5焦欧
• 英特尔®酷睿™i7-6500U CPU @ 2.50GHz×4
• x86_64-pc-linux-gnu上的PostgreSQL 9.5.11，由gcc编译（Ubuntu 5.4.0-6ubuntu1〜16.04.4）5.4.0 20160609，64位
• Netbeans IDE 8.2
• JDK 1.8
• PostgreSQL的42.2.0.jar

Answer 1

1. 您这里遇到的关键问题是您错过了ResultSet.close()和Statement.close()这种调用。

2. 解决该问题（添加相关的close调用）时，您可能会发现（在两个for循环之前）进行SINGLE con.prepareStatement调用会进一步提高性能（当然，您无需在循环中关闭该语句，但是您可以仍然需要循环关闭结果集）。

3. 然后，您可以应用批处理SQL

Answer 2

使用EXPLAIN ，可以找出查询变为隐性的点。

我遇到过类似情况的一种情况是：

• 复合查询，例如，从不同的表中参数化相似的日期范围，然后将它们加入某个索引值。 即使上面的日期仍用作索引，在prepareStatement中生成的查询仍然无法命中索引，并最终对连接数据进行了扫描。