AWS Glue 作業無法寫入 Redshift

Question

我有一個 AWS Glue 作業，應該將動態框架中的結果寫入 Redshift 數據庫。 為此，我設置了一個到 Redshift 的膠水連接並對其進行了測試，它工作正常。 但是，當作業嘗試寫入 Redshift 時，它會超時

AnalysisException: 'java.lang.RuntimeException: com.amazonaws.SdkClientException: 
Unable to execute HTTP request: 
Connect to glue.eu-central-1.amazonaws.com:443 [glue.eu-central-1.amazonaws.com/52.57.157.164, 
glue.eu-central-1.amazonaws.com/35.156.122.139, 
glue.eu-central-1.amazonaws.com/3.122.136.8] failed: connect timed out;'

用於編寫的代碼如下所示：

    my_conn_options = {
    "dbtable": "tbl1",
    "database": "db1",
    "aws_iam_role": "arn:aws:iam::111111111111:role/glue-role"
}

glueContext.write_dynamic_frame.from_jdbc_conf(
    frame = dynamic_frame, 
    catalog_connection = "glue-to-redshift-connection", 
    connection_options = my_conn_options, 
    redshift_tmp_dir = args["TempDir"])

任何想法可能是什么原因造成的？

Answer 1

在作業中使用 Glue 連接后，作業將在您的 VPC 中執行，並且外部連接不再起作用，例如，glue.eu-central-1.amazonaws.com。

為了使內部流量成為可能，您需要為 Glue 創建一個VPC 終端節點。