在PL / SQL循环中使用新的提交策略存档3200万个Oracle表行

Question

我被要求修改以下过程以处理3200万行，因为当前作业正在运行缓慢。 他们告诉我在批量循环中提交每10,000行，但是通过提交每10,000个我然后丢失表上的独占锁。 我正在寻找一种有效的方法来处理这些记录与表上的独占锁。

作业将名为act_plus_triggers的生产表中的旧记录归档到名为arc_act_plus_triggers的归档表中，但在将这些记录插入归档表之前，首先将记录插入到名为act_plus_triggers_copy的副本表中。 有什么建议么？ 我在Oracle 11g数据库上运行。

PROCEDURE archive_act_plus_triggers (p_batch_name IN VARCHAR2) IS
BEGIN

  --
  EXECUTE IMMEDIATE 'ALTER SESSION ENABLE RESUMABLE TIMEOUT 57600 NAME ''ARC ACT+ TRIGGERS''';

  -- lock the table so no updates/deletes/inserts can be made to this table
  LOCK TABLE act_plus_triggers IN EXCLUSIVE MODE;

   -- insert all records from act_plus_triggers into the act_plus_triggers_copy table
   INSERT INTO act_plus_triggers_copy
      SELECT apt.*
        FROM act_plus_triggers apt JOIN works wrk ON wrk.cre_surr_id = apt.wrk_cre_surr_id
       WHERE apt.status NOT IN ('EXT', 'EXP', 'INT')
          OR ( (apt.status = 'INT'
            AND apt.uc_surr_id IS NULL
            AND apt.terminal_date > SYSDATE)
           OR (apt.status = 'INT'
           AND apt.uc_surr_id IS NOT NULL
           AND apt.usage_value > 0))
          OR (apt.status IN ('EXT', 'EXP')
          AND NVL (apt.process_desc, '?') IN ('TRANSACTIONAL', 'AMAZONITUNE')
          AND wrk.extracted_for_nwr_date IS NOT NULL
          AND wrk.logically_deleted_y IS NULL
          AND wrk.ice_wrk_status = '4');

   dbms_output.put_line('  Inserted into Act_plus_triggers_copy : ' || SQL%ROWCOUNT);

   -- insert the data in the copy table to the archived data table
   INSERT --+ append
         INTO  arc_act_plus_triggers
      SELECT apt.*
        FROM act_plus_triggers apt
       WHERE NOT EXISTS
                (SELECT 1
                   FROM act_plus_triggers_copy aptc
                  WHERE aptc.surr_id = apt.surr_id)
         AND apt.status IN ('EXT', 'EXP');

   dbms_output.put_line('  Inserted into Arc_act_plus_triggers : '|| SQL%ROWCOUNT);

   -- truncate table deleteing all records in the act_plus_triggers
   EXECUTE IMMEDIATE 'TRUNCATE TABLE act_plus_triggers';
   dbms_output.put_line('  Act_plus_triggers truncated: '|| SQL%ROWCOUNT);

   -- insert all record from act_plus_triggers_copy into the truncated table act_plus_triggers
   INSERT --+ append
         INTO  act_plus_triggers apt
      SELECT * FROM act_plus_triggers_copy;

   dbms_output.put_line('  Inserted into Act_plus_triggers : '|| SQL%ROWCOUNT);

    -- commit all inserts above
    COMMIT;

    -- truncate the table act_plus_triggers_copy
    EXECUTE IMMEDIATE 'TRUNCATE TABLE act_plus_triggers_copy';

END archive_act_plus_triggers;

Answer 1

没有太多事要做：

• 在SELECT中使用PARALLEL提示 - 读取并行流
• 使用ALTER SESSION ENABLE PARALLEL_DML，以并行流写入
• 在insert中使用APPEND提示使用direct-pah write
• 使中间表act_plus_triggers_copy NOLOGGING
• 使目标表上的索引无效（如果有）
• 删除目标表上的约束（如果有）
• 禁用目标表中的触发器（如果有）

通常写入表格非常快，而索引维护或约束使ETL变慢。

PS：还要检查哪一步实际上很慢。 也许你在使用ANTI-JOIN - NOT EXISTS的中间步骤有问题。 因此，由于索引维护（如果存在），第一步很慢，或者由于未使用索引（如果不存在），第二步很慢。 IHMO你应该在act_plus_triggers_copy之前禁用act_plus_triggers_copy索引，并在act_plus_triggers_copy之前重建它们。

批处理模式和10000后提交不会加快速度。