如何將數據從 AWS Aurora Postgres DB 導出到 Redshift？

Question

我有一個托管在AWS Aurora上的Postgres DB ，我需要從中檢索數據並將其插入Redshift 。

我目前的做法如下：

1. 使用Psycopg2創建Aurora 數據庫連接。
2. 使用上面創建的Aurora連接，查詢Aurora DB表並使用OUTFILE將結果集作為CSV文件導出到S3
3. 從S3開始，使用Psycopg2進行Redshift連接。

我試圖通過刪除S3服務並將Aurora直接連接到Redshift來優化這一點。

這是我找不到資源的我想做的事情：

查詢Aurora表-table1，直接將結果集導出到Redshift表-table1中。

我什至不確定當前系統是否可以做到這一點。 有什么想法嗎？

Answer 1

有兩種方法可以將數據導入 Amazon Redshift 數據庫：

• 從 Amazon S3 加載的COPY命令
• INSERT語句插入作為 SQL 語句的一部分提供的數據

COPY方法推薦用於正常的數據加載。 它跨切片並行運行，並盡可能高效地存儲數據，因為它正在附加數據。

INSERT命令對於少量插入是可以接受的，但對於插入大量行不是一個好主意。 在可能的情況下，一次插入多行。 可以使用INSERT... SELECT語句，它可以在一次操作中插入來自不同表的批量數據。

因此，從您的操作中刪除 Amazon S3 的唯一方法是將數據編碼到INSERT語句中，但這不是加載數據的最佳方法。