如何从 S3 加载泡菜文件以在 AWS Lambda 中使用？

Question

我目前正在尝试将腌制文件从 S3 加载到 AWS lambda 并将其存储到列表中（腌制是列表）。

这是我的代码：

import pickle
import boto3

s3 = boto3.resource('s3')
with open('oldscreenurls.pkl', 'rb') as data:
    old_list = s3.Bucket("pythonpickles").download_fileobj("oldscreenurls.pkl", data)

即使文件存在，我也会收到以下错误：

FileNotFoundError: [Errno 2] No such file or directory: 'oldscreenurls.pkl'

有任何想法吗？

Answer 1

超级简单的解决方案

import pickle
import boto3

s3 = boto3.resource('s3')
my_pickle = pickle.loads(s3.Bucket("bucket_name").Object("key_to_pickle.pickle").get()['Body'].read())

Answer 2

如download_fileobj的文档所示，您需要先以二进制写入模式打开文件并保存到文件中。 下载文件后，您可以打开它进行阅读和解压。

import pickle
import boto3

s3 = boto3.resource('s3')
with open('oldscreenurls.pkl', 'wb') as data:
    s3.Bucket("pythonpickles").download_fileobj("oldscreenurls.pkl", data)

with open('oldscreenurls.pkl', 'rb') as data:
    old_list = pickle.load(data)

download_fileobj使用 S3 中对象的名称加上本地文件的句柄，并将该对象的内容保存到文件中。 这个函数还有一个叫做download_file的版本，它接受一个文件名而不是一个打开的文件句柄，并为你处理打开它。

在这种情况下，使用S3Client.get_object可能会更好，以避免必须写入然后立即读取文件。 您还可以写入内存中的 BytesIO 对象，它的作用类似于文件，但实际上并不接触磁盘。 这看起来像这样：

import pickle
import boto3
from io import BytesIO

s3 = boto3.resource('s3')
with BytesIO() as data:
    s3.Bucket("pythonpickles").download_fileobj("oldscreenurls.pkl", data)
    data.seek(0)    # move back to the beginning after writing
    old_list = pickle.load(data)

Answer 3

这是最简单的解决方案。 您甚至可以使用S3FileSystem加载数据而无需在本地下载文件

from s3fs.core import S3FileSystem
s3_file = S3FileSystem()

data = pickle.load(s3_file.open('{}/{}'.format(bucket_name, file_path)))

Answer 4

根据我的实现，S3 文件路径用 pickle 读取。

import pickle
import boto3

name = img_url.split('/')[::-1][0]
folder = 'media'
file_name = f'{folder}/{name}'
bucket_name = bucket_name
s3 = boto3.client('s3', aws_access_key_id=aws_access_key_id,aws_secret_access_key=aws_secret_access_key)
response = s3.get_object(Bucket=bucket_name, Key=file_name)
body = response['Body'].read()
data = pickle.loads(body)