允许 AWS Glue 爬虫访问不同账户中的 Amazon S3 存储桶

Question

我所拥有的只是访问密钥和秘密访问密钥，它们能够访问一个帐户中的 S3 存储桶。 我想在一个不同的账户中设置一个 AWS Glue 爬虫，它将在这个 S3 存储桶中的文件上运行。

是否可以仅使用访问密钥/秘密访问密钥，或者我是否需要先将文件复制到我自己帐户中的 S3 存储桶中，然后将爬虫设置为在该位置运行？

Answer 1

创建 AWS Glue 爬网程序时，您将创建 AWS Glue 在代表您调用其他服务时可以代入的IAM 角色。 该角色将具有 ARN（Amazon 资源名称），例如：

arn:aws:iam::123456789012:role/crawler-role

您可以在授予对此 IAM 角色访问权限的目标存储桶上创建存储桶策略。 它看起来像：

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "PublicRead",
            "Effect": "Allow",
            "Principal": {
                "AWS": [
                    "arn:aws:iam::123456789012:role/crawler-role"
                ]
            },
            "Action": [
                "s3:ListBucket",
                "s3:GetObject"
            ],
            "Resource": [
                "arn:aws:s3:::examplebucket",
                "arn:aws:s3:::examplebucket/*"
            ]
        }
    ]
}

这表示允许指定的 IAM 角色（由爬虫使用）列出存储桶的内容并获取对象。