使用 CLI 從 AWS S3 下載特定文件列表

Question

我正在嘗試僅從 AWS 下載特定文件。 我有文件 URL 列表。 使用 CLI，我只能使用 --recursive 命令下載存儲桶中的所有文件，但我只想下載列表中的文件。 關於如何做到這一點的任何想法？

Answer 1

這可能與以下內容重復： 在AWS S3 CLI中下載選擇性文件

您可以按照以下方式進行操作：

aws s3 cp s3://BUCKET/ folder --exclude "*" --include "2018-02-06*" --recursive

https://docs.aws.amazon.com/cli/latest/reference/s3/cp.html

Answer 2

由於文件中已經存在s3網址（例如file.list ），因此-

s3://bucket/file1
s3://bucket/file2

您可以使用簡單的bash腳本將所有文件下載到當前工作目錄中-

while read -r line;do aws s3 cp "$line" .;done < test.list

Answer 3

人們，我發現了一種更快的方法： https://stackoverflow.com/a/69018735

警告：“請確保您的文本文件末尾沒有空行”。

它在這里工作：:-)