为什么连续删除会花费更多时间？

Question

我有一个表（比如tableB ），大约有40M行（一直在增加）。 目前，归档是通过DELETE .. OUTPUT .. INTO .. FROM ..方式完成的。 要归档1000行，最初需要3到5秒钟。 但是随着越来越多的行被删除，这将花费更多的时间。 例如，删除1000万行后，现在需要35到40秒才能删除1000行。

是什么原因造成的？ 如何改善这种情况（我需要归档至少3000万行）？ 如果分区是唯一的方法，我该如何在最少的停机时间内做到这一点？

其他资讯：

• tableB具有2个外键列（ tableAId ， tableCId ）
• 正在基于表A中的日期时间字段执行归档（在DELETE语句中使用了inner-join tableA ）
• 查询计划显示内部联接的成本为81％
• 如果我将查询提示with (index=ix_time) tableA with (index=ix_time) ，则该计划显示tableB外键列上的索引的index-seek成本为100％
• tableA和tableB都具有自动递增的bigint作为主键。
• tableB有4个索引
• tableA有5个索引
• tableA具有30M +行。
• 指数/统计每天都在重建/组织/更新
• SQL Server 2008R2
• Windows Server 2008R2、16核，32G RAM
• 我是偶然的dba atm

查询计划摘录：

剧本：

DECLARE @older_than datetime2(0) = '2015-10-01';
DECLARE @i int = 1;
DECLARE @j int = 0;
DECLARE @imax int = 1000;
DECLARE @jmax int = 50;
DECLARE @total int = 0;
DECLARE @t1 DATETIME2(3);
DECLARE @t2 DATETIME2(3);
DECLARE @timetook int;

WHILE @i > 0 AND @j < @jmax
BEGIN
    SET @t1 = GETDATE();
    DELETE TOP (@imax) ss   
        OUTPUT  deleted.[Id]    
          ,deleted.[columnA]
          ,deleted.[columnB]          

        INTO [MyArchive_Data].dbo.tableB([Id]
          ,columnA
          ,columnB)

    FROM [MyLive_Data].dbo.tableB ss
    INNER JOIN [MyLive_Data].dbo.tableA s ON s.Id = ss.tableAID

    WHERE s.Time < @older_than;
    SET @i = @@rowcount;
    SET @j = @j + 1;
    SET @total = @total + @i;
    SET @t2 = GETDATE();
    SET @timetook = datediff(second,@t1,@t2);
    RAISERROR('LOOP %d COMPLETE [%d rows][%d sec]',10,1,@j, @total, @timetook) with nowait;
    WAITFOR DELAY '00:00:03';
END

更新

似乎如果我排除循环构造（ WHILE @i > 0 AND @j < @jmax ）并单独运行DELETE语句，则需要10到12秒。 我观察了查询计划。 那些是不同的。 在循环构造为ON的情况下，它使用了index-seek但在没有index-seek结构的情况下，使用了index-scan 。 为什么？

Answer 1

在没有看到带有索引的完整表架构的情况下，我想说SQL Server查询优化器发现扫描聚簇索引更有效，因为表上的统计信息显示了ID值和Time的相关性，知道是否开始在聚集索引的末尾并以相反的顺序对其进行处理，则它将必须读取较少的行才能找到满足查询条件的TOP（x）行。 布伦特·奥扎尔（Brent Ozar）关于扫描，搜索和统计的帖子

此外，循环中还有WAITFOR语句，这可能会导致表上的锁升级，因为删除是在隐式事务中完成的，因此只有在循环结束后才提交删除。 尝试在delete语句之前添加BEGIN TRANSACTION然后在其之后添加COMMIT TRANSACTION 。 如果可能的话，请删除WAITFOR语句，因为这会导致处理延迟。

DECLARE @older_than datetime2(0) = '2015-10-01';
DECLARE @i int = 1;
DECLARE @j int = 0;
DECLARE @imax int = 1000;
DECLARE @jmax int = 50;
DECLARE @total int = 0;
DECLARE @t1 DATETIME2(3);
DECLARE @t2 DATETIME2(3);
DECLARE @timetook int;

WHILE @i > 0 AND @j < @jmax
BEGIN
SET @t1 = GETDATE();
BEGIN TRANSACTION 
DELETE TOP (@imax) ss   
    OUTPUT  deleted.[Id]    
      ,deleted.[columnA]
      ,deleted.[columnB]          

    INTO [MyArchive_Data].dbo.tableB([Id]
      ,columnA
      ,columnB)

FROM [MyLive_Data].dbo.tableB ss
INNER JOIN [MyLive_Data].dbo.tableA s ON s.Id = ss.tableAID

WHERE s.Time < @older_than;
COMMIT TRANSACTION 
SET @i = @@rowcount;
SET @j = @j + 1;
SET @total = @total + @i;
SET @t2 = GETDATE();
SET @timetook = datediff(second,@t1,@t2);
RAISERROR('LOOP %d COMPLETE [%d rows][%d sec]',10,1,@j, @total, @timetook) with nowait;
WAITFOR DELAY '00:00:03';
END

Answer 2

下面是一个示例，我希望它将对非常大的存档处理更加有效。 此方法按ID范围而不是TOP批量删除。 您可以根据性能和并发需求来调整批处理大小。

DECLARE
      @older_than datetime2(0) = '2015-10-01'
    , @i int = 1
    , @j int = 0
    , @total int = 0
    , @t1 DATETIME2(3)
    , @t2 DATETIME2(3)
    , @timetook int
    , @MinID int
    , @MaxId int
    , @BatchFirstId int
    , @BatchLastId int
    , @BatchSize int =100000;
SELECT @MinID = MIN(Id), @MaxID = MAX(Id) FROM dbo.TableA;
SET @BatchFirstId = @MinID;
WHILE @BatchFirstId <=  @MaxId
BEGIN

    SET @BatchLastID = @BatchFirstId + @BatchSize - 1;
    SET @t1 = GETDATE();
    DELETE ss   
        OUTPUT  deleted.[Id]    
          ,deleted.[columnA]
          ,deleted.[columnB]          

        INTO [MyArchive_Data].dbo.tableB([Id]
          ,columnA
          ,columnB)

    FROM [MyLive_Data].dbo.tableB ss
    INNER JOIN [MyLive_Data].dbo.tableA s ON s.Id = ss.tableAID
    WHERE s.Time < @older_than
        AND s.Id BETWEEN @BatchFirstID AND @BatchLastID;

    SET @i = @@ROWCOUNT;
    SET @BatchFirstId += @BatchSize;
    SET @j = @j + 1;
    SET @total = @total + @i;
    SET @t2 = GETDATE();
    SET @timetook = datediff(second,@t1,@t2);
    RAISERROR('LOOP %d COMPLETE [%d rows][%d sec]',10,1,@j, @total, @timetook) with nowait;
    WAITFOR DELAY '00:00:03';

END;