如何用最少的时间在mysql中转换约1600万行？

Question

我在一个只有两列的表中大约有160万行，一个是bigint唯一索引，另一个是在base64中有照片的longblob。 我需要尽快解码这些base64照片。 我尝试使用几个小时后中断的Java程序，速度也不好。 这是程序

Connection conn = null;
        Statement stmt = null;
        try {
            conn = DatabaseConnection.getConnection();
            stmt = conn.createStatement(ResultSet.TYPE_SCROLL_SENSITIVE,
                    ResultSet.CONCUR_UPDATABLE);
            ResultSet uprs = stmt.executeQuery("SELECT uniqueid,photo FROM newphotodata");
            String query="insert into photo_data values (?,?)";
            PreparedStatement pstmt =  conn.prepareStatement(query);
            while (uprs.next()) {
                byte[] processed = Base64Utils.base64Decode(uprs.getString(2));
                pstmt.setString(1, uprs.getString(1));
                pstmt.setBytes(2, processed);
                pstmt.executeUpdate();
                uprs.deleteRow();
            }
            pstmt.close();
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            try {
                if (stmt != null)
                    stmt.close();
                if(conn!=null)
                    conn.close();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }

我采用的第二种方法是使用数据库触发器，该触发器使用我创建的base64_decode存储过程。 这是触发因素

DELIMITER $$

DROP TRIGGER `delete_photo`$$

CREATE TRIGGER `delete_photo` BEFORE DELETE ON `newphotodata`
FOR EACH ROW
BEGIN
    INSERT INTO `photo_data` SELECT OLD.`uniqueid`, BASE64_DECODE(OLD.`photo`);
END$$

DELIMITER ;

处理速度再次太慢。 还有其他方法可用于执行以下任务。 我在具有96GB RAM，intel Xeon x5672的Redhat Linux中运行Mysql版本5.0。

Answer 1

最好的方法是创建另一个表，并使用预制的mysql函数插入解码后的照片，以对base64上的编码进行解码。

插入比更新快。

INSERT INTO photo_data 
SELECT OLD.uniqueid, FROM_BASE64(OLD.`photo`);

但是，如果不每隔几行提交一次，该查询就会变得很长。 因此，最好的方法是创建一个每n行提交一次的过程。

不要退出mysql以获得最佳性能。 mysql外部进行的每个转换都需要额外的努力。

编辑：按uniqueId排序原始数据。 如果发生问题，您可以从最后插入的ID重新启动。 您无需删除原始数据。 它可以提高您的表现。

Answer 2

对于Java程序，您可以尝试使用sql批处理语句，这将大大提高插入语句的速度。 示例代码：

int batchLimit = 1000;
int currentBatchLimit = batchLimit;
while (rs.next())
{
    stmt.setInt(1, 123);
    stmt.addBatch();

    currentBatchLimit--;
    if (currentBatchLimit == 0)
    {
        stmt.executeBatch();
        stmt.clearBatch();
        currentBatchLimit = batchLimit;
    }
    stmt.clearParameters();
}
stmt.executeBatch();
stmt.close();