简体繁体 English

使用 Lambda 将文件从一个 S3 存储桶复制到另一个 S3 存储桶 - 时间限制？

[英]File Copy from one S3 bucket to other S3 bucket using Lambda - timing constraint?

原文 2023-01-29 18:43:57 8 1 amazon-s3/ aws-lambda/ boto3/ aws-sdk/ aws-s3-client

I need to copy large files ( may be even greater than 50 GB) from one S3 bucket to other S3 bucket ( event based).我需要将大文件（甚至可能大于 50 GB）从一个 S3 存储桶复制到另一个 S3 存储桶（基于事件）。 I am planning to use s3.Object.copy_from to do this inside Lambda ( using boto3).我打算使用 s3.Object.copy_from 在 Lambda 中执行此操作（使用 boto3）。

I wanted to see if anyone has tried this?我想看看有没有人试过这个？ will this have any performance issue for larger files (100 GB etc.) causing Lambda timeout?对于导致 Lambda 超时的较大文件（100 GB 等），这会有任何性能问题吗？

If yes, is there any alternate option?如果是，是否有其他选择？ ( I am trying to use code since I might need to do some other additional logic like rename file, move source file to archive etc.). （我正在尝试使用代码，因为我可能需要执行一些其他附加逻辑，例如重命名文件、将源文件移动到存档等）。

Note- I am also exploring AWS S3 Replication options, but looking for other solutions in parallel.注意-我也在探索 AWS S3 复制选项，但同时寻找其他解决方案。

1 个解决方案

You can use AWS S3 replication feature.您可以使用 AWS S3 复制功能。 It supports key prefix and API filtering as well.它还支持密钥前缀和 API 过滤。

是否可以在不使用存储桶策略的情况下将 s3 存储桶内容从一个存储桶复制到另一个帐户 s3 存储桶？ - is it possible to copy s3 bucket content from one bucket to another account s3 bucket without using bucket policy?

将 json 文件从一个 s3 存储桶复制到另一个 s3 存储桶时，无法识别 Json 文件？ - Json file is not recognising when copy json files from one s3 bucket to another s3 bucket?

最简单的 lambda function 将文件从一个 s3 存储桶复制到另一个存储桶 - Simplest lambda function to copy a file from one s3 bucket to another

将 Lambda 重定向或复制到 S3 存储桶 - Redirect or copy Lambda out to S3 bucket

将文件从一个 AWS 帐户的 S3 存储桶复制到另一个 AWS 帐户的 S3 存储桶 + 使用 NodeJS - Copy files from one AWS account's S3 bucket to another AWS account's S3 bucket + using NodeJS

AWS Lambda 尝试将文件从 S3 存储桶复制到另一个 S3 存储桶时出现无效存储桶名称错误 - Invalid bucket name error when AWS Lambda tries to copy files from an S3 bucket to another S3 bucket

使用一个 cloudFormation 模板从 zip 文件和 S3 存储桶创建一个 lambda - Create a lambda from zip file and and an S3 bucket using one cloudFormation Template

AWS Lambda 使用 python 读取 S3 存储桶中的文件 - AWS Lambda read a file in the S3 bucket using python

使用aws下载s3 bucket文件 lambda function - download s3 bucket file using aws lambda function

从 S3 存储桶下载 Lambda 依赖项 - downloading Lambda dependencies from S3 bucket

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 是否可以在不使用存储桶策略的情况下将 s3 存储桶内容从一个存储桶复制到另一个帐户 s3 存储桶？ - is it possible to copy s3 bucket content from one bucket to another account s3 bucket without using bucket policy? 将 json 文件从一个 s3 存储桶复制到另一个 s3 存储桶时，无法识别 Json 文件？ - Json file is not recognising when copy json files from one s3 bucket to another s3 bucket? 最简单的 lambda function 将文件从一个 s3 存储桶复制到另一个存储桶 - Simplest lambda function to copy a file from one s3 bucket to another 将 Lambda 重定向或复制到 S3 存储桶 - Redirect or copy Lambda out to S3 bucket 将文件从一个 AWS 帐户的 S3 存储桶复制到另一个 AWS 帐户的 S3 存储桶 + 使用 NodeJS - Copy files from one AWS account's S3 bucket to another AWS account's S3 bucket + using NodeJS AWS Lambda 尝试将文件从 S3 存储桶复制到另一个 S3 存储桶时出现无效存储桶名称错误 - Invalid bucket name error when AWS Lambda tries to copy files from an S3 bucket to another S3 bucket 使用一个 cloudFormation 模板从 zip 文件和 S3 存储桶创建一个 lambda - Create a lambda from zip file and and an S3 bucket using one cloudFormation Template AWS Lambda 使用 python 读取 S3 存储桶中的文件 - AWS Lambda read a file in the S3 bucket using python 使用aws下载s3 bucket文件 lambda function - download s3 bucket file using aws lambda function 从 S3 存储桶下载 Lambda 依赖项 - downloading Lambda dependencies from S3 bucket

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM