在 S3 中將多個 CSV 文件合並到一個文件中

Question

我希望在 S3 中獲取一些文件並將它們全部合並到一個大文件中（所有文件都有相同的列）。 是否可以在不下載文件的情況下實現這一目標？ 使用 Pyhton 直接在 S3 上？ 不使用 ECS/Lambda。

我已經看到“UploadPartCopy”和“UploadPart”可能會有所幫助，盡管我不確定。

我會注意到文件大小可能會有所不同，從 500KB 到 27MB。

曾經通過從 S3 獲取文件並連接到一個大 DataFrame 中然后再次上傳到 S3 來執行此操作。 這工作得很好，但機器開始崩潰，因為它有太多的文件......

謝謝

Answer 1

我希望在 S3 中獲取一些文件並將它們全部合並到一個大文件中（所有文件都有相同的列）。 是否可以在不下載文件的情況下實現這一目標？ 使用 Pyhton 直接在 S3 上？ 不使用 ECS/Lambda。

不，這是不可能的。 S3 根本不為您運行代碼，它只是存儲文件。 您根本無法在 S3 或任何其他編程語言上運行 Python 代碼。