[英]Uploading a file to a S3 bucket with a prefix using Boto3
我正在尝试将文件上传到 S3 存储桶,但我无权访问存储桶的根级别,我需要将其上传到某个前缀。 以下代码:
import boto3
s3 = boto3.resource('s3')
open('/tmp/hello.txt', 'w+').write('Hello, world!')
s3_client.upload_file('/tmp/hello.txt', bucket_name, prefix+'hello-remote.txt')
给我一个错误:
An error occurred (AccessDenied) when calling the PutObject operation: Access Denied: ClientError Traceback (most recent call last): File "/var/task/tracker.py", line 1009, in testHandler s3_client.upload_file('/tmp/hello.txt', bucket_name, prefix+'hello-remote.txt') File "/var/runtime/boto3/s3/inject.py", line 71, in upload_file extra_args=ExtraArgs, callback=Callback) File "/var/runtime/boto3/s3/transfer.py", line 641, in upload_file self._put_object(filename, bucket, key, callback, extra_args) File "/var/runtime/boto3/s3/transfer.py", line 651, in _put_object **extra_args) File "/var/runtime/botocore/client.py", line 228, in _api_call return self._make_api_call(operation_name, kwargs) File "/var/runtime/botocore/client.py", line 492, in _make_api_call raise ClientError(parsed_response, operation_name) ClientError: An error occurred (AccessDenied) when calling the PutObject operation: Access Denied
bucket_name
的格式为abcd
而prefix
的格式为a/b/c/d/
。 我不确定该错误是否是由于斜杠错误造成的,或者是否有某种方法可以在其他地方指定前缀,或者我没有写权限(尽管我应该这样做)。
此代码执行时没有任何错误:
for object in output_bucket.objects.filter(Prefix=prefix):
print(object.key)
虽然没有输出,因为桶是空的。
我假设你已经设置了所有这些:
~/.aws/credentials
根据Boto3 S3 upload_file
文档,您应该像这样上传您的上传:
upload_file(Filename, Bucket, Key, ExtraArgs=None, Callback=None, Config=None)
import boto3
s3 = boto3.resource('s3')
s3.meta.client.upload_file('/tmp/hello.txt', 'mybucket', 'hello.txt')
这里要注意的关键是s3.meta.client
。 不要忘记——它对我有用!
我希望这有帮助。
原来我需要SSE:
transfer = S3Transfer(s3_client)
transfer.upload_file('/tmp/hello.txt', bucket_name, prefix+'hello-remote.txt', extra_args={'ServerSideEncryption': "AES256"})
import boto3
s3 = boto3.resource('s3')
s3.meta.client.upload_file( 'csv1.csv', "bucketname", "prefixna/csv1.csv")
以下是 John Adjei 答案的替代方案。 这也取自Boto3 S3 upload_file 文档。 因为客户端是低级的(低抽象/更接近机器代码),它可以提高性能 - 特别是如果您处理大数据。
import boto3
s3 = boto3.client('s3')
with open("FILE_NAME", "rb") as f:
s3.upload_fileobj(f, "BUCKET_NAME", "OBJECT_NAME")
这是我的回答:
import boto3
s3_client = boto3.client(service_name='s3', region_name='ap-southeast-1',
aws_access_key_id='AWS_ACCESS_KEY_ID',
aws_secret_access_key='AWS_SECRET_ACCESS_KEY')
dest_bucket = 'data-lake'
dest_prefix = 'datamart/my_file_name/'
file_name = 'my_file_name'+ '.parquet'
s3.meta.client.delete_object(Bucket=dest_bucket,Key=dest_prefix + file_name)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.