尝试将文件上传到S3时，回形针报告access_denied

Question

更新：当我从存储桶策略中删除显式拒绝块时，它可以工作，但是我需要在其中阻止站点外部的人（包括机器人）访问内容。

-

我试图找出一种对S3内容进行访问控制的方法，例如：

1. 使用HTTP引荐来源网址mydomain.com用户可以查看文件
2. 回形针宝石可以上传文件
3. Google机器人无法抓取文件并将其编入索引

从站点查看现有文件可以正常工作，但是上载文件会在控制台中出现以下错误：

[AWS S3 403 0.094338 0 retries] put_object(:acl=>:public_read,
:bucket_name=>"mybucket",:content_length=>879394,
:content_type=>"image/jpeg",:data=>Paperclip::FileAdapter: Chrysanthemum.jpg,
:key=>"ckeditor_assets/pictures/6/original_chrysanthemum.jpg",
:referer=>"mydomain.com/")
AWS::S3::Errors::AccessDenied Access Denied

这是我的存储桶策略：

{
"Version": "2012-10-17",
"Id": "http referer policy example",
"Statement": [
    {
        "Sid": "Allow get requests referred by mydomain.com",
        "Effect": "Allow",
        "Principal": "*",
        "Action": [
            "s3:GetObjectVersion",
            "s3:DeleteObject",
            "s3:DeleteObjectVersion",
            "s3:GetObject",
            "s3:PutObject"
        ],
        "Resource": "arn:aws:s3:::mybucket/*",
        "Condition": {
            "StringLike": {
                "aws:Referer": "mydomain.com/*"
            }
        }
    },
    {
        "Sid": "Explicit deny to ensure requests are allowed only from specific referer.",
        "Effect": "Deny",
        "Principal": "*",
        "Action": "s3:*",
        "Resource": "arn:aws:s3:::mybucket/*",
        "Condition": {
            "StringNotLike": {
                "aws:Referer": "mydomain.com/*"
            }
        }
    }
]

}

错误消息很奇怪，因为我在Paperclip设置中将引荐来源网址明确设置为mydomain.com ：

production.rb：

:s3_headers => {
  'Referer' => 'mydomain.com'
}

而且Paperclip确实使用了它，如错误消息的倒数第二行所示。

那么为什么它仍然会导致访问被拒绝？

Answer 1

摆弄了几个小时后，我根据列出的原始三个要求修订了方法。 现在，我明确地仅拒绝GetObject（而不是通过“ *”进行的所有操作），并且还将robots.txt文件放在存储桶的根目录下并将其公开。 因此：

1. 只有当我的网站是引荐来源网址时，用户才能访问存储桶内容（也许可以欺骗此标头，但是我现在并不担心）。 我通过复制资源的链接并将其通过电子邮件发送给我自己，然后从电子邮件中打开它进行了测试。 我的访问被拒绝，这表明无法在其他站点上进行热链接。
2. 回形针可以上传和删除文件
3. Google无法为存储分区内容建立索引（希望robots.txt就足够了）

对于那些将来通过Google到达的用户，我的最终的存储桶政策是：

{
"Version": "2012-10-17",
"Id": "http referer policy example",
"Statement": [
    {
        "Sid": "Allow get requests referred by mydomain.com",
        "Effect": "Allow",
        "Principal": "*",
        "Action": "s3:*",
        "Resource": "arn:aws:s3:::mybucket/*",
        "Condition": {
            "StringLike": {
                "aws:Referer": "https://mydomain.com/*"
            }
        }
    },
    {
        "Sid": "Explicit deny to ensure requests are allowed only from specific referer.",
        "Effect": "Deny",
        "Principal": "*",
        "Action": "s3:GetObject*",
        "Resource": "arn:aws:s3:::mybucket/*",
        "Condition": {
            "StringNotLike": {
                "aws:Referer": "https://mydomain.com/*"
            }
        }
    }
  ]
}

我确实有一个关于为什么不起作用的理论。 我正在阅读有关在Policy中指定条件的S3文档，并且注意到以下警告：

重要提示：并非所有条件都适用于所有操作。 例如，在授予s3：PutBucket Amazon S3权限但不授予s3：GetObject权限的策略上包括s3：LocationConstraint条件是有意义的。 S3可以测试涉及Amazon S3特定情况的此类语义错误。 但是，如果要为IAM用户创建策略，并且包含语义上无效的S3条件，则不会报告任何错误，因为IAM无法验证S3条件。

因此，Referer条件对于PutObject操作可能没有意义。 我想我会把它包括在内，以防有人决定从这里拿起这个问题并继续进行下去。 :)