为什么在 terraform 中创建的 S3 存储桶需要存储桶策略来授予对 lambda 的访问权限

Question

我们使用云形成和 terraform 的组合，其中一些常见资源（如 DynamoDB、S3）是使用 terraform 创建的，而其他资源（如 APIGateway）是使用无服务器和云形成创建的。 所有资源都在同一个 AWS 账户中

我在 terraform 中有一个 S3 存储桶

resource "aws_s3_bucket" "payment_bucket" {
  bucket = "payment-bucket-${var.env_name}"
  acl    = "private"

  tags = merge(
    module.tags.base_tags,
    {
      "Name" = "payment-bucket-${var.env_name}"
    }
  )

  lifecycle {
    ignore_changes = [tags]
  }
}

当我运行 tf-apply 时，这会在我的 AWS 账户中创建一个私有存储桶payment-bucket-dev

我们在同一个 AWS 账户中有一个 APIGateway，它是使用无服务器创建的，其中一个 lambda 需要访问此存储桶，因此我为 lambda ZC1C425268E68385D1AB504C1 授予访问权限 74C1A 存储桶的 IAM 角色。

  makePayment:
    name: makePayment-${self:provider.stage}
    handler: src/handler/makePayment.default
    events:
      - http:
          path: /payment
          method: post
          private: true
          cors: true
    iamRoleStatementsName: ${self:service}-${self:provider.stage}-makePayment-role
    iamRoleStatements:
      - Effect: Allow
        Action:
          - s3:PutObject
        Resource:
          - arn:aws:s3:::#{AWS::Region}:#{AWS::AccountId}:payment-bucket-${self:provider.stage}/capture/batch/*

但是当我运行这个 lambda make-payment-dev时，它会引发 AccessDenied 错误，除非我添加存储桶策略来授予对 lambda 角色的访问权限

resource "aws_s3_bucket_policy" "payment_service_s3_bucket_policy" { 
..
..
}

当s3 bucket和lambda function和角色在同一个账户时，为什么我需要添加S3 bucket策略？ 我错过了什么吗？

此外，如果我使用AWS::S3::Bucket作为 Apigateway 所在的云形成堆栈的一部分创建了存储桶（我们使用的是无服务器），我不需要添加存储桶策略并且一切正常。

Answer 1

我认为问题只是 S3 存储桶 ARN 不正确。

S3 存储桶 ARN 中没有账户 ID 或区域。 使用arn:aws:s3:::mybucket/myprefix/* 。

Answer 2

答案取决于 AWS IAM 角色应用 terraform 计划，因为 AWS s3 存储桶罐装 ACL 规则：“私有”将存储桶访问限制为：所有者获得 FULL_CONTROL。 其他人没有访问权限（默认）。 每个文档： https://docs.aws.amazon.com/AmazonS3/latest/dev/acl-overview.html

此时您必须相对明确地说明谁可以访问存储桶。 通常，如果我要使用私有 ACL，但希望我的 AWS 账户中的所有其他角色都可以访问存储桶，我会将存储桶策略附加到 terraform aws_s3_bucket 资源，以首先允许访问存储桶。 然后我通过另一个内联策略明确授予 lambda 角色访问所述存储桶的权限。

在您的情况下，它看起来像这样：

// Allow access to the bucket
data "aws_iam_policy_document" "bucket_policy" {
  statement {
    sid = "S3 bucket policy for account access"

    actions = [
      "s3:ListBucket",
      "s3:GetObject",
      "s3:PutObject",
      "s3:DeleteObject"
    ]

    principals {
      type = "AWS"

      identifiers = [
        "arn:aws:iam::{your_account_id_here}:root",
      ]
    }

    resources = [
      "arn:aws:s3:::test_bucket_name",
      "arn:aws:s3:::test_bucket_name/*",
    ]

    condition {
      test     = "StringEquals"
      variable = "aws:PrincipalArn"
      values   = ["arn:aws:iam::{your_account_id_here}:role/*"]
    }
  }
}

resource "aws_s3_bucket" "this" {
  bucket = "test_bucket_name"
  acl    = "private"

  policy = data.aws_iam_policy_document.bucket_policy.json
}

// Grant the lambda IAM role permissions to the bucket
data "aws_iam_policy_document" "grant_bucket_access" {
  statement {
    sid = "AccessToTheAppAuxFilesBucket"
    actions = [
      "s3:ListBucket",
      "s3:GetObject",
      "s3:PutObject",
      "s3:DeleteObject"
    ]

    resources = [
      "arn:aws:s3:::test_bucket_name/*",
      "arn:aws:s3:::test_bucket_name"
    ]
  }
}

// Data call to pull the arn of the lambda's IAM Role
data "aws_iam_role" "cloudformation_provisioned_role" {
  name = "the_name_of_the_lambdas_iam_role"
}

resource "aws_iam_role_policy" "iam_role_inline_policy" {
    name = "s3_bucket_access"
    role = data.aws_iam_role.cloudformation_provisioned_role.arn

    policy = data.aws_iam_policy_document.grant_bucket_access.json
}

Answer 3

这是一个开放的错误。 acl 和 force_destroy 不能很好地使用terraform import ：https://github.com/hashicorp/terraform-provider-aws/issues/6193