如何將 AWS Glue 與文檔數據庫連接

Question

有誰知道如何將 Glue 與 Document DB 連接起來？

不幸的是，AWS 博客 [https://aws.amazon.com/blogs/big-data/building-aws-glue-spark-etl-jobs-using-amazon-documentdb-with-mongodb-compatibility-and-mongodb/]我跟着沒有按預期工作。

我遵循的步驟

• 創建 Doc db 安全組以打開端口 27017
• 在個人賬戶中使用我的默認 VPC 創建了一個文檔數據庫
• 能夠使用 Cloud9 連接到 DocumentDb 並在測試數據庫中創建文檔
• 在 Glue 數據目錄中創建了文檔數據庫的連接 [同時創建了選定的默認 vpc 安全組和 Doc 數據庫安全組]
• 創建了一個 S3 VPC 端點
• 創建了粘合 VPC 端點
• 使用博客中給出的腳本創建作業，但它在行 [dynamic_frame2 = glueContext.create_dynamic_frame.from_options] 中失敗

錯誤 - 調用 o92.getDynamicFrame 時發生錯誤。 等待連接時 30000 毫秒后超時。 集群 state 的客戶端視圖是 {type=UNKNOWN, servers=[{address=<cluster>:<port>, type=UNKNOWN, state=CONNECTING, exception={com.mongodb.MongoSocketOpenException: Exception opening socket}, caused by { java.net.SocketTimeoutException：連接超時}}]

Answer 1

我想到了。 由於此作業是使用 Spark 腳本編輯器創建的，因此需要建立數據庫連接。 打開 Job Script，go 到 Job Details 選項卡，單擊高級屬性並從下拉列表中選擇 Doc Db 連接，它工作了。