AWS S3 使用 boto3 将文件从一个存储桶复制到另一个存储桶

Question

我打算使用 AWS Python SDK (Boto3) 将文件从一个存储桶复制到另一个存储桶。 下面是我从 AWS 文档中获得的相同代码：

dest_object.copy_from(CopySource={
                'Bucket': self.object.bucket_name,
                'Key': self.object.key
            })

我的问题是如何触发此代码以及我应该在哪里部署此代码？ 我最初想到的是 Lambda function，但我正在寻找替代选项，以防 Lambda 因较大文件（1 TB 等）而超时。

我可以使用 Airflow 以某种方式触发此代码吗？ 可以通过Lambda调用吗？ 寻求 AWS 专家的建议。

Answer 1

将新文件复制到另一个存储桶的最简单方法是使用Amazon S3 复制。 它会自动将新对象复制到选定的存储桶中，无需代码。

但是，这不能满足您在复制传入文件后将其删除的要求。 因此，您应该创建一个 AWS Lambda function 并添加一个 S3 触发器。 每当在存储桶中创建 object 时，这将触发 Lambda function。

Lambda function 应该：

• 从event参数中提取桶和 object 名称
• 将 object 复制到目标桶
• 删除原来的object

代码看起来像：

import boto3
import urllib

TARGET_BUCKET = 'target_bucket' # Change this

def lambda_handler(event, context):

    s3_resource = boto3.resource('s3')

    # Loop through each incoming object
    for record in event['Records']:

        # Get incoming bucket and key
        source_bucket = record['s3']['bucket']['name']
        source_key = urllib.parse.unquote_plus(record['s3']['object']['key'])

        # Copy object to different bucket
        copy_source = {
            'Bucket': source_bucket,
            'Key': source_key
        }
        s3_resource.Bucket(TARGET_BUCKET).Object(source_key).copy(copy_source)

        # Delete original object
        s3_resource.Bucket(source_bucket).Object(source_key).delete()

复制过程不太可能接近 AWS Lambda 的 15 分钟限制，但值得在大型对象上进行测试。