如何從不同的 AWS 區域為我的膠水作業檢索數據？

Question

我在不同的 AWS 區域（eu-west-1 和 us-east-1）分別有可用的 Glue DB（db1 和 db2）和表（tbl1 和 tbl2）。

我在 eu-west-1 中的粘合工作需要來自兩個表的數據，只是一個簡單的select * from db1.tbl1和select * from db2.tbl2 。 數據作為鑲木地板存儲在 AWS S3 中，也可以通過 Athena 進行查詢。

我如何通過膠水作業中的 spark sql 檢索該數據。 你能幫我舉個例子嗎？ 如果不是 spark sql，你能建議一個不同的方法嗎？

非常感謝！

Answer 1

在歐盟地區創建一個爬蟲從美國地區的 S3 桶中讀取數據，這將在歐盟數據庫中創建一個表（S3 位置指向美國 S3 桶）。 這樣數據就在美國地區，但您在歐盟的粘合工作可以根據需要檢索美國數據。