将文件从 S3 读入 Python memory

Question

我有一个存储在 S3 中的大型 csv 文件，我想下载、编辑和重新上传这个文件，而不用接触我的硬盘，即将它从 S3 直接读入 memory。 我正在使用 python 库 boto3，这可能吗？

Answer 1

您应该查看io 模块

根据您要读取文件的方式，您可以创建StringIO()或BytesIO() object 并将文件下载到此 stream。

你应该看看这些答案：

1. 如何将 S3 存储桶中的图像文件直接读取到 memory 中？
2. 如何使用 Python 中的 Pandas 从 s3 存储桶中读取 csv 文件