由於 IAM 權限，無法運行 AWS Glue Crawler

Question

我無法運行新創建的 AWS Glue Crawler。 我在https://docs.aws.amazon.com/glue/latest/dg/create-an-iam-role.html?icmpid=docs_glue_console遵循了 IAM 角色指南

1. 使用AWSGlueServiceRole和AmazonS3FullAccess托管策略創建了新的爬蟲角色AWSGlueServiceRoleDefault
2. 信任關系包含：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

3. 用戶通過 SSO 執行爬蟲簽名並繼承arn:aws:iam::aws:policy/AdministratorAccess
4. 我什至嘗試創建具有所有權限的新 AWS 用戶

執行 Crawler 后，它會在 8 秒內失敗並出現以下錯誤：

爬蟲無法啟動。 驗證附加到爬蟲中定義的 IAM 角色的策略中的權限

還需要哪些其他 IAM 權限？

Answer 1

如果您通過 JDBC 連接到外部數據存儲來爬網表和模式，請確保您已為 Glue 連接指定了網絡選項。 如果未指定選項，我會得到完全相同的錯誤。 我認為這里的錯誤信息有些誤導。

這是我為爬蟲定義的內容：

1. 一個角色，例如 AWSGlueServiceRoleDefault 附加了 AWSGlueServiceRole 托管策略。

2. 為您的連接指定.network 選項。

3. 創建一個 NAT 網關並將其附加到您在步驟 2 中定義的 su.net，以便您的爬蟲程序可以使用公共 IP 連接到外部數據存儲。

如果您嘗試連接 RDS，由於爬蟲和數據庫都在 AWS.network 中，因此不需要 NAT。 只需定義安全組規則以允許連接。 在此處查看文檔。

如果 S3 是目標數據源，則建議使用 S3 的 VPC 端點。 在此處查看文檔。