[英]saving csv file to s3 using boto3
我正在尝试将 CSV 文件写入并保存到 s3 中的特定文件夹(存在)。 这是我的代码:
from io import BytesIO
import pandas as pd
import boto3
s3 = boto3.resource('s3')
d = {'col1': [1, 2], 'col2': [3, 4]}
df = pd.DataFrame(data=d)
csv_buffer = BytesIO()
bucket = 'bucketName/folder/'
filename = "test3.csv"
df.to_csv(csv_buffer)
content = csv_buffer.getvalue()
def to_s3(bucket,filename,content):
s3.Object(bucket,filename).put(Body=content)
to_s3(bucket,filename,content)
这是我得到的错误:
Invalid bucket name "bucketName/folder/": Bucket name must match the regex "^[a-zA-Z0-9.\-_]{1,255}$"
我也试过:
bucket = bucketName/folder
和:
bucket = bucketName
key = folder/
s3.Object(bucket,key,filename).put(Body=content)
有什么建议吗?
也可以使用带有现有 .csv 文件的upload_file
保存到 s3 存储桶中:
import boto3
s3 = boto3.resource('s3')
bucket = 'bucket_name'
filename = 'file_name.csv'
s3.meta.client.upload_file(Filename = filename, Bucket= bucket, Key = filename)
这应该工作
def to_s3(bucket,filename, content):
client = boto3.client('s3')
k = "folder/subfolder"+filename
client.put_object(Bucket=bucket, Key=k, Body=content)
这应该有效:
bucket = bucketName
key = f"{folder}/{filename}"
csv_buffer=StringIO()
df.to_csv(csv_buffer)
content = csv_buffer.getvalue()
s3.put_object(Bucket=bucket, Body=content,Key=key)
AWS 存储桶名称不允许有斜杠 ("/"),它应该是 Key 的一部分。 AWS 使用斜杠在仪表板中显示“虚拟”文件夹。 由于 csv 是一个文本文件,我使用 StringIO 而不是 BytesIO
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.