簡體   English   中英

如何將模式 (regex_pattern) 寫入 select 雪花復制模式中來自 S3 前綴的 5 天數據

[英]How to Write Pattern (regex_pattern) to select 5 days of data from S3 Prefix in snowflake copy pattern

要求:

分區拼花文件存儲在 S3 中的以下前綴中,用例是將 5 天的數據(2012-01-01 - 2012-01-05)加載到雪花變體表中。 所以想用 Pattern 來完成這個,任何建議如何編寫正則表達式?

copy into amazon-reviews-pds
from @amazon-reviews-pds
pattern = <>

s3://amazon-reviews-pds/parquet/date_dt=2012-01-**01** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**01** 01.snapppy.parquet

s3://amazon-reviews-pds/parquet/date_dt=2012-01-**02** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**03** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**04** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**05** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**06** 00.snapppy.parquet
      .
      .
      .
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**10** 00.snapppy.parquet
      .
      .
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**31** 00.snapppy.parquet```



您可以使用https://regexr.com/來測試您的正則表達式。

這種模式應該有效:

copy into amazonreviewspds
from @amazonreviewspds 
pattern='.*parquet/date_dt=2012-01-0[15].*';

您可以使用 LS 命令對其進行測試:

ls @amazonreviewspds pattern='.*parquet/date_dt=2012-01-0[15].*';

如果要加載每個月的前五天,可以修改表達式,如:

ls @amazonreviewspds pattern='.*parquet/date_dt=2012-\\d{2}-0[15].*';

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM