将 csv & json 数据从 S3 复制到 Redshift

Question

我有来自 s3 存储桶的如下格式的数据。

"2010-9","aws cloud","{"id":1,"name":"test"}"
"2010-9","aws cloud1","{"id":2,"name":"test2"}"

我想复制数据库中的数据，如下所示。

桌子

year   | env        | desc
2010-9 | aws cloud  |{"id":1,"name":"test"}
2010-9 | aws cloud1 |{"id":2,"name":"test2"}

我写了这个命令但没有用。 请你帮助我好吗？

copy table
from 's3://bucketname/manifest' credentials 'aws_access_key_id=xx;aws_secret_access_key=xxx'
delimiter ','
IGNOREHEADER 1
REMOVEQUOTES
IGNOREBLANKLINES
manifest;

Answer 1

你几乎在那里 - 你只需要转义第三个字段（desc）内的双引号。 每

If double-quotes are used to enclose fields, then a double-quote
       appearing inside a field must be escaped by preceding it with
       another double quote.  For example: "aaa","b""bb","ccc"

这是根据 rfc-4180 - https://www.ietf.org/rfc/rfc4180.txt

我还将 json 加载到 Redshift 中的文本字段中，然后使用 json 函数解析该字段。 效果很好。