从 S3 存储桶文件填充 Redshift 中的外部架构表

Question

我是 AWS 的新手，并试图弄清楚如何在驻留在 Amazon Redshift 中的外部架构中填充表。 我使用 Amazon Glue 从位于 S3 存储桶中的 .csv 文件创建了一个表。 我可以通过 Amazon Athena 查询新创建的表。

这就是我卡住的地方，因为我的任务是获取数据并填充位于 RedShift 外部模式中的表。 我尝试在 Glue 中创建一个工作，但没有运气。

这就是我被困的地方。 我是否应该首先创建一个空的目标表来反映我可以使用 Athena 查询的表？

提前感谢任何可能提供帮助的人！！！

Answer 1

Redshift Spectrum 和 Athena 都将 Glue 数据目录用于外部表。 当您创建指向现有 Glue 目录的新 Redshift 外部架构时，它包含的表将立即存在于 Redshift 中。

-- Create the Redshift Spectrum schema
CREATE EXTERNAL SCHEMA IF NOT EXISTS my_redshift_schema
FROM DATA CATALOG DATABASE 'my_glue_database'
IAM_ROLE 'arn:aws:iam:::role/MyIAMRole'
;
-- Review the schema info
SELECT * 
FROM svv_external_schemas 
WHERE schemaname = 'my_redshift_schema'
;
-- Review the tables in the schema
SELECT * 
FROM svv_external_tables 
WHERE schemaname = 'my_redshift_schema'
;
-- Confirm that the table returns data
SELECT * 
FROM my_redshift_schema.my_external_table LIMIT 10
;