从 S3 存储桶中的 CSV 文件中读取数据并将其存储在 python 的字典中

Question

我正在尝试从 S3 存储桶中读取 csv 文件并将其内容存储到字典中。 样本 csv 文件数据。 我想使用我的第一行作为键和后续行作为值。

name,origin,dest
xxx,uk,france
yyyy,norway,finland
zzzz,denmark,canada

我正在使用下面的代码，它将整行存储在字典中。 但是我想遍历每一行并将每个字段存储在一行中作为键值对。

{'name':'xxx','origin':'uk','dest':'france'}

s3 = boto3.client('s3')
obj = s3.get_object(Bucket = 'bucket_name', Key = 'logs/log.csv')
lines = obj['Body'].read().decode("utf-8").replace("'", '"')
lines = lines.splitlines()
if (isinstance(lines, str)):
        lines = (lines)

docData = {}
for line in lines:
        docData['content'] = str(line)

print(docData)

Answer 1

假如说

s3 = boto3.client('s3')
obj = s3.get_object(Bucket = 'bucket_name', Key = 'logs/log.csv')
lines = obj['Body'].read().decode("utf-8")

将 csv 的内容生成为字符串，然后您可以使用标准库的csv模块来获取字典列表。

import csv
import io

buf = io.StringIO(lines)
reader = csv.DictReader(buf)
rows = list(reader)