[英]Performance tuning for prepared statement
我正在編寫一個程序,用於從oracle數據庫表中獲取大約7百萬條記錄,然后將它們重新插入到另一個表中。 我的計划如下
import java.sql.*;
import java.util.Scanner;
import java.io.*;
public class Test_5000 {
public void Test_5000() throws SQLException, IOException {
long startTime = System.nanoTime(); //processing timer starts
DriverManager.registerDriver( new oracle.jdbc.driver.OracleDriver() );
Connection DBConn = DriverManager.getConnection( "jdbc:oracle:thin:@IE1FUX004:1521:Database", "username", "password" );
if (DBConn != null)
{
System.out.println("nSuccessfullly connected to Oracle DB");
String SqlQuery = "SELECT * FROM Old_Table";
Statement stmt = DBConn.createStatement();
ResultSet rs=stmt.executeQuery(SqlQuery);
String InsertQuery = "INSERT INTO NEW_Table (AIRPORT_Id, "+
"AIRPORT_Name, "+
"PROCESSING_Time, "+
//some more 32 fields
") Values (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)";
PreparedStatement ps = DBConn.prepareStatement(InsertQuery);
ps.setFetchSize(1000);
int batchsize =1000;
int count=0;
int k =0;
System.out.println(InsertQuery);
while(rs.next())
{
ps.setString(1,rs.getString(1));
ps.setString(2,rs.getString(2));
ps.setInt(3, 201804);
ps.setString(4,rs.getString(4));
ps.setString(5,rs.getString(5));
ps.setString(6,rs.getString(6));
ps.setString(7,rs.getString(7));
ps.setString(8,rs.getString(8));
ps.setInt(9,rs.getInt(9));
ps.setString(10,rs.getString(10));
ps.setString(11,rs.getString(11));
ps.setInt(12,rs.getInt(12));
ps.setString(13,rs.getString(13));
ps.setString(14,rs.getString(14));
ps.setInt(15,rs.getInt(15));
ps.setInt(16,rs.getInt(16));
ps.setInt(17,rs.getInt(17));
ps.setString(18,rs.getString(18));
ps.setString(19,rs.getString(19));
ps.setString(20,rs.getString(20));
ps.setString(21,rs.getString(21));
ps.setString(22,rs.getString(22));
ps.setString(23,rs.getString(23));
ps.setInt(24,rs.getInt(24));
ps.setString(25,rs.getString(25));
ps.setString(26,rs.getString(26));
ps.setInt(27,rs.getInt(27));
ps.setInt(28,rs.getInt(28));
ps.setString(29,rs.getString(29));
ps.setString(30,rs.getString(30));
ps.setInt(31,rs.getInt(31));
ps.setString(32,rs.getString(32));
ps.addBatch();
DBConn.setAutoCommit(false);
//autocommit off
k=k+1;
if(++count % batchsize==0)
{
ps.executeBatch();
System.out.println(k);
}
}
ps.executeBatch();
System.gc();
System.out.println("" +count);
DBConn.setAutoCommit(false);
long endTime = System.nanoTime(); //Processing time ends here
long duration = (endTime - startTime);
System.out.println("time taken for processing is" + " " +duration);
ps.close();
rs.close();
DBConn.close();
}
else
{
System.out.println("nFailed to connect to Oracle DB");
}
}
public static void main( String[] args) throws SQLException, IOException
{
System.out.println( "Started" );
Test_5000 NFDAPT4 = new Test_5000();
NFDAPT4.Test_5000();
System.out.println( "End" );
}
}
該程序平均需要5分鍾才能運行並將記錄插入數據庫。 JVM堆肯定不是問題。 在嘗試不同的Fetch大小后,我發現最佳提取大小為1000。 任何人都可以建議在此程序中進行任何性能調整,這將減少其處理時間。 我的要求是使用java執行此操作。 任何建議將不勝感激。 先感謝您。
我建議直接插入而不是取出和插入。 嘗試查詢為
Insert into NEW_Table
Select * from OLD_Table
它將節省您的檢索時間
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.