如何将数据从 AWS Aurora Postgres DB 导出到 Redshift？

Question

我有一个托管在AWS Aurora上的Postgres DB ，我需要从中检索数据并将其插入Redshift 。

我目前的做法如下：

1. 使用Psycopg2创建Aurora 数据库连接。
2. 使用上面创建的Aurora连接，查询Aurora DB表并使用OUTFILE将结果集作为CSV文件导出到S3
3. 从S3开始，使用Psycopg2进行Redshift连接。

我试图通过删除S3服务并将Aurora直接连接到Redshift来优化这一点。

这是我找不到资源的我想做的事情：

查询Aurora表-table1，直接将结果集导出到Redshift表-table1中。

我什至不确定当前系统是否可以做到这一点。 有什么想法吗？

Answer 1

有两种方法可以将数据导入 Amazon Redshift 数据库：

• 从 Amazon S3 加载的COPY命令
• INSERT语句插入作为 SQL 语句的一部分提供的数据

COPY方法推荐用于正常的数据加载。 它跨切片并行运行，并尽可能高效地存储数据，因为它正在附加数据。

INSERT命令对于少量插入是可以接受的，但对于插入大量行不是一个好主意。 在可能的情况下，一次插入多行。 可以使用INSERT... SELECT语句，它可以在一次操作中插入来自不同表的批量数据。

因此，从您的操作中删除 Amazon S3 的唯一方法是将数据编码到INSERT语句中，但这不是加载数据的最佳方法。