大型数据集的PROC SQL更新效率

Question

我有一个具有1000万行和1800列的SAS主数据集。 我需要使用具有1500万条记录的交易数据集来更新10列，仅适用于具有匹配键的记录。 我尝试使用以下代码运行proc sql更新语句。

proc sql;
UPDATE lib1.master1 a

SET col1 = (SELECT col1 FROM lib1.changes_1 b WHERE a.key=b.key),
    col2 = (SELECT col2 FROM lib1.changes_1 b WHERE a.key=b.key),
    col3 = (SELECT col3 FROM lib1.changes_1 b WHERE a.key=b.key),
    col4 = (SELECT col4 FROM lib1.changes_1 b WHERE a.key=b.key),
    col5 = (SELECT col5 FROM lib1.changes_1 b WHERE a.key=b.key),
    col6 = (SELECT col6 FROM lib1.changes_1 b WHERE a.key=b.key),
    col7 = (SELECT col7 FROM lib1.changes_1 b WHERE a.key=b.key),
    col8 = (SELECT col8 FROM lib1.changes_1 b WHERE a.key=b.key),
    col9 = (SELECT col9 FROM lib1.changes_1 b WHERE a.key=b.key)

WHERE EXISTS ( SELECT 1 FROM lib1.changes_1 b WHERE A.key = B.key);
quit;

我只是为了进行测试而尝试了col1，它已经运行了4多个小时。

我可以想到数据合并，方法是删除10列，然后左连接，但这会改变列顺序。 重新排序1800列将再次是一项繁琐的任务。

有更快/更有效的技术吗？

Answer 1

要替换一列，最简单的格式是（类似于Bendy的方法）。

要替换总是来自同一行的十列，我建议使用哈希表。 通常，速度与单一格式相同。 （实际上，在10MM行标记处，格式可能会有些慢，因此，这甚至可能纯粹快于一个。）

这在我的笔记本电脑上花费了大约30秒（CPU时间和实时；我有一个SSD，所以类似）。在HDD上，这大概是30秒CPU时间和几分钟。

*make some dummy data;
data maindata;
  array col(10);
  do _i = 1 to dim(col);
    col[_i] = _i;
  end;
  do key = 1 to 1e7;
    output;
  end;
run;
data updatedata;
  array col(10);
  do _i = 1 to dim(col);
    col[_i] = 100+_i;
  end;
  do key = 1 to 3e7 by 2;
    output;
  end;
run;

*using MODIFY here which is identical in function to SQL UPDATE - does not make a new dataset;
data maindata;  
  if _n_=1 then do;
    declare hash ud(dataset:'updatedata');
    ud.defineKey('key');
    ud.defineData('col1', 'col2', 'col3', 'col4', 'col5', 'col6', 'col7', 'col8', 'col9', 'col10');
    ud.defineDone();
  end;
  modify maindata;
  rcUpdate = ud.find();
  if rcUpdate=0 then replace;
run;

Answer 2

你有挑战 首先，建议您在lib1.changes_1(key)上创建一个索引。 这可能会大大提高性能。

proc sql不支持join更新-这才是您真正需要的。 但是，许多基础数据引擎都可以。 因此，如果要与数据库（例如MySQL，Postgres或SQL Server）中的数据进行通信，则可以编写纯模式查询以使用join进行更新。

全SAS解决方案将使用数据步骤。

Answer 3

如何为交易数据集B中的10列中的每一列生成格式？

生成虚拟数据集： master数据集（1000万个记录）和transaction数据集（1500万个记录）：（原始transaction数据集在下面进行了规范化，以准备创建每个交易变量的格式）

data master ;
  do key=1 to 10000000 ;
    output ;
  end ;
run ;

data transaction(keep=start label fmtname) ;
  array t(10) col1-col10 ;
      do i=1 to 10 ;
        do start=1 to 15000000 ;
        fmtname=cat('COL',i,'F') ;
        label=cat('Column ',i,' has value ',start) ;
        output ;
    end ;
  end ;
run ;

阅读为以下格式：

proc format cntlin=transaction ;
run ;

然后将格式应用于master数据集：

data want ;
  set master ;
    col1=put(key,COL1F.) ;
    col2=put(key,COL2F.) ;
    col3=put(key,COL3F.) ;
    col4=put(key,COL4F.) ;
    col5=put(key,COL5F.) ;
    col6=put(key,COL6F.) ;
    col7=put(key,COL7F.) ;
    col8=put(key,COL8F.) ;
    col9=put(key,COL9F.) ;
    col10=put(key,COL10F.) ;
    output ;
run ;

Answer 4

摘要

1. 将lib1.changes_1汇总到执行完全扫描的临时表（例如， lib1.changes_1_rolledup ）中。 （ lib1.changes_1_rolledup的物理属性应仔细设置。）
2. 使用lib1.changes_1_rolledup的数据更新lib1.master1以对lib1.changes_1_rolledup的一个进行完全扫描，并对另一个进行索引扫描。 （哪种扫描方式取决于实际数据。）

讲解

首先，为了获得更好的性能，您很有可能会陷入底层的DBMS级别并利用其功能。

然后，优化技术实际上取决于数据的性质。

我想[几乎]所有的lib1.changes_1(key)值匹配的一个lib1.master1(key)的值（ lib1.changes_1可以是即使对于细节表lib1.master1 ）。 另外，我们需要应用lib1.changes_1所有更改。 这意味着无论如何我们都必须从lib1.changes_1读取所有记录。 如果是这样，最有效的方法是对lib1.changes_1表进行全扫描，但只执行一次 。 此完整扫描将把来自lib1.changes_1所有更改lib1.changes_1到具有以下定义的（可能是临时的）表中：

-- pseudo code:
create [temporary] table lib1.changes_1_rolledup 
  <set physical attributes depending on your data nature - see below>
  as select key, col1, col2, col3, col4, col5, col6, col7, col8, col9
  from lib1.changes_1
  where 1 = 2

此汇总变更表可能包含不超过1000万条记录，并且取决于colX大小，在存储空间要求方面可能相对较小。 而且更重要的是，每个key只有一个记录，这可能是一个很大的好处。

在我们需要评估多少lib1.master1的记录中表示lib1.changes_1_rolledup这在主从关系的情况下仅仅是记录数的比较。

如果lib1.changes_1_rolledup仅是两棵树（速率实际上取决于DBMS）或小于lib1.master1 （就记录数而言），则最有效的方法是对lib1.master1进行全面扫描更新从每个记录lib1.master1 （全部9个colX与来自相应的值的值，在一次） lib1.changes_1_rolledup 。 （当然，应该在单个更新查询中实施完全扫描的更新。）在这种情况下，必须调整lib1.changes_1_rolledup表的物理属性以进行键查找。 如果可能的话，我建议使用类似于Oracle索引组织表的技术。

如果lib1.changes_1_rolledup比lib1.master1短lib1.master1 ，则lib1.changes_1_rolledup从lib1.master1更新相应记录的效率lib1.master1 。 在这种情况下，应将lib1.changes_1_rolledup的物理存储调整为完全扫描，并可能按lib1.master1(key)出现的顺序进行lib1.master1(key)例如，对于自动递增的代理键可能是这种情况）。

PS为了简化描述，我省略了lib1.changes_1仅包含某个键的部分列更新的情况。 这可以通过在lib1.changes_1_rolledup添加标志字段lib1.changes_1_rolledup如下所示调整更新来解决：

-- pseudo code:
update lib1.master1 m
  set m.col1 = (
        select case c.col1 then select c.col1 else m.col1 end
          from lib1.changes_1_rolledup c
          where c.key = m.key
      )
  ..............