[英]How to Write Pattern (regex_pattern) to select 5 days of data from S3 Prefix in snowflake copy pattern
要求:
分區拼花文件存儲在 S3 中的以下前綴中,用例是將 5 天的數據(2012-01-01 - 2012-01-05)加載到雪花變體表中。 所以想用 Pattern 來完成這個,任何建議如何編寫正則表達式?
copy into amazon-reviews-pds
from @amazon-reviews-pds
pattern = <>
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**01** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**01** 01.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**02** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**03** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**04** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**05** 00.snapppy.parquet
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**06** 00.snapppy.parquet
.
.
.
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**10** 00.snapppy.parquet
.
.
s3://amazon-reviews-pds/parquet/date_dt=2012-01-**31** 00.snapppy.parquet```
您可以使用https://regexr.com/來測試您的正則表達式。
這種模式應該有效:
copy into amazonreviewspds
from @amazonreviewspds
pattern='.*parquet/date_dt=2012-01-0[15].*';
您可以使用 LS 命令對其進行測試:
ls @amazonreviewspds pattern='.*parquet/date_dt=2012-01-0[15].*';
如果要加載每個月的前五天,可以修改表達式,如:
ls @amazonreviewspds pattern='.*parquet/date_dt=2012-\\d{2}-0[15].*';
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.