将数据加载到 Redshift 后，Redshift 表不保留 SAS 排序顺序

Question

当我使用 PROC SORT 将按键排序（包含重复键）的 SAS 数据集加载到 Redshift 中时，Redshift 中不会保留相同的排序顺序。 例如。 当我将 SAS 数据集与 Redshift 表进行比较时，它们的排序顺序不同，数据在重复键中非常混乱，很难找到数据在 Redshift 列中的存储方式或发生这种情况的原因。

] 1

任何关于在将数据从 SAS 加载到 Redshift 后保持相同排序的建议或指导都会非常有帮助。 谢谢！

使用的代码：

PROC APPEND BASE = Target_Table (bulkload=yes bl_compress=yes bl_bucket='xxx' bl_default_dir = 'xxx' bl_use_escape =YES) 
DATA = Source_Table force; 
RUN;

Answer 1

创建表时需要设置sortkey ，例如：

proc sql;
connect using myredlib as rs;
execute (create table iwant (
   key INTEGER
  ,data char(1)
  ,load_dttm TIMESTAMP
)
distkey(key)
compound sortkey(key,data) )by rs;

如果您有重复项或者您只需要保留源数据顺序，则在 append 之前的数据步骤中创建一个新列（例如id ），例如：

data iwant;
  set ihave;
  id=_n_;
run;
proc append .....

Answer 2

它取决于 append 开头的目标表的 state。

IIRC 默认情况下，新表没有固有的排序顺序，并且仅当 SQL 查询具有ORDER BY子句时，才能保证排序的结果集。

表可以具有SORT ORDER和INTERLEAVED SORT KEYS等功能，但必须通过EXECUTE BY或 Amazon Redshift 控制台添加通过 Proc SQL 执行的 RedShift 语句。

请参阅 SO 为什么 Redshift 不需要物化视图或索引？ 了解更多有用信息。