由于 IAM 权限，无法运行 AWS Glue Crawler

Question

我无法运行新创建的 AWS Glue Crawler。 我在https://docs.aws.amazon.com/glue/latest/dg/create-an-iam-role.html?icmpid=docs_glue_console遵循了 IAM 角色指南

1. 使用AWSGlueServiceRole和AmazonS3FullAccess托管策略创建了新的爬虫角色AWSGlueServiceRoleDefault
2. 信任关系包含：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "glue.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

3. 用户通过 SSO 执行爬虫签名并继承arn:aws:iam::aws:policy/AdministratorAccess
4. 我什至尝试创建具有所有权限的新 AWS 用户

执行 Crawler 后，它会在 8 秒内失败并出现以下错误：

爬虫无法启动。 验证附加到爬虫中定义的 IAM 角色的策略中的权限

还需要哪些其他 IAM 权限？

Answer 1

如果您通过 JDBC 连接到外部数据存储来爬网表和模式，请确保您已为 Glue 连接指定了网络选项。 如果未指定选项，我会得到完全相同的错误。 我认为这里的错误信息有些误导。

这是我为爬虫定义的内容：

1. 一个角色，例如 AWSGlueServiceRoleDefault 附加了 AWSGlueServiceRole 托管策略。

2. 为您的连接指定.network 选项。

3. 创建一个 NAT 网关并将其附加到您在步骤 2 中定义的 su.net，以便您的爬虫程序可以使用公共 IP 连接到外部数据存储。

如果您尝试连接 RDS，由于爬虫和数据库都在 AWS.network 中，因此不需要 NAT。 只需定义安全组规则以允许连接。 在此处查看文档。

如果 S3 是目标数据源，则建议使用 S3 的 VPC 端点。 在此处查看文档。