將文件從 S3 讀入 Python memory

Question

我有一個存儲在 S3 中的大型 csv 文件，我想下載、編輯和重新上傳這個文件，而不用接觸我的硬盤，即將它從 S3 直接讀入 memory。 我正在使用 python 庫 boto3，這可能嗎？

Answer 1

您應該查看io 模塊

根據您要讀取文件的方式，您可以創建StringIO()或BytesIO() object 並將文件下載到此 stream。

你應該看看這些答案：

1. 如何將 S3 存儲桶中的圖像文件直接讀取到 memory 中？
2. 如何使用 Python 中的 Pandas 從 s3 存儲桶中讀取 csv 文件