S3 桶到桶复制性能

Question

我正在尝试将一些文件从一个存储桶复制到另一个（同一区域），速度约为 315mb/s。 但是我在 lambda 中使用它，并且有 15 分钟的超时限制。 所以对于更大的文件进入超时

下面是我正在使用的代码片段（在 python 中），还有其他方法可以加快速度吗？ 欢迎任何意见。

 s3_client = boto3.client(
    's3',
    aws_access_key_id=access_key,
    aws_secret_access_key=secret_key,
    aws_session_token=session_token,
    config=Config(signature_version='s3v4')
)

s3_client.copy(bucket_pair["input"], bucket_pair["output"]["Bucket"],
                               bucket_pair["output"]["Key"])

我看到很多关于传递块大小的帖子，但我没有在 ALLOWED_COPY_ARGS 中看到它们。 谢谢。

Answer 1

您可以使用步骤 function 并遍历所有对象并复制它们。 要增加吞吐量，您可以使用 map 任务

https://docs.aws.amazon.com/step-functions/latest/dg/amazon-states-language-map-state.html

如果您不想使用 stepfunction，您可以使用一个生产者 lambda 将所有对象写入 sqs 队列并从 lambda 使用它们以将它们复制到相应的目标。