[英]How can I copy/move multiple objects from a S3 bucket within specified byte-ranges to another bucket?
嘿，我正在尝试将多个对象（200,000+）从公共天气预报存储桶 ( NOAA GFS ) 复制到我的私有 S3 存储桶。
每个预测文件都有自己的索引文件，其中包含不同变量的字节范围。 在这 500 个变量中，只有 20 个对我有用。
我已经设法通过迭代每 object 并提取指定字节来使用 boto3 做到这一点。 但这个过程非常缓慢。 有什么可能的改进？
您可以使用upload_copy_part来实现它。 在这里查看详细信息
CopySourceRange采用类似bytes=start-end的值
如何将所有对象从一个 Amazon S3 存储桶复制到另一个存储桶？
[英]How can I copy all objects from one Amazon S3 bucket to another bucket?
是否可以在不使用存储桶策略的情况下将 s3 存储桶内容从一个存储桶复制到另一个帐户 s3 存储桶？
[英]is it possible to copy s3 bucket content from one bucket to another account s3 bucket without using bucket policy?
将 json 文件从一个 s3 存储桶复制到另一个 s3 存储桶时，无法识别 Json 文件？
[英]Json file is not recognising when copy json files from one s3 bucket to another s3 bucket?
AWS Lambda 尝试将文件从 S3 存储桶复制到另一个 S3 存储桶时出现无效存储桶名称错误
[英]Invalid bucket name error when AWS Lambda tries to copy files from an S3 bucket to another S3 bucket
如何为 s3 存储桶设置允许经过身份验证的用户列出存储桶或从存储桶中获取任何文件的策略
[英]How can I set a policy for an s3 bucket that allows authenticated users to list the bucket or get any file from the bucket
将文件从一个帐户中的 AWS S3 存储桶复制到 terraform/python 中另一个帐户中的存储桶
[英]copy files from AWS S3 bucket in one account to bucket in another account in terraform/python
我可以将数据从多个 S3 存储桶复制到单个 S3 存储桶吗？
[英]Can I replicate data from Multiple S3 buckets to a single S3 bucket?
如何在脚本 elixir 中将文件夹的所有文件从另一个文件夹移动到同一个 S3 存储桶
[英]How to move all files of folder from another folder to same S3 bucket in script elixir
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
