使用python boto僅下載S3存儲桶中的特定文件夾

Question

下面的鏈接顯示了如何下載整個S3內容。 但是，如何獲得子文件夾的內容。 假設我的S3文件夾具有以下模擬結構。

S3Folder / S1 / file1.c

S3Folder / S1 / file2.h

S3Folder / S1 / file1.h

S3Folder / S2 / file.exe

S3Folder / S2 / resource.data

假設我只對S2文件夾感興趣。 如何隔離存儲桶列表中的鍵？

S3內容的本地備份

conn = boto.connect_s3(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY)
bucket = conn.get_bucket(bucket_name)

# go through the list of files
bucket_list = bucket.list()
for l in bucket_list:
  keyString = str(l.key)
  d = LOCAL_PATH + keyString
  try:
    l.get_contents_to_filename(d)
  except OSError:
    # check if dir exists
    if not os.path.exists(d):
      os.mkdir(d)

Answer 1

您可以通過在鍵值中添加s3對象的前綴來下載它。

因此，根據您的Question，您只需要在下載對象時添加前綴'/ S2'

僅供參考：使用boto3的s3下載對象

欲了解更多檢查此

Answer 2

您可以執行以下操作：

import os
import boto3
s3_resource = boto3.resource("s3", region_name="us-east-1")

    def download_objects():
        root_dir = 'D:/' # local machine location
        s3_bucket_name = 'S3_Bucket_Name' #s3 bucket name
        s3_root_folder_prefix = 'sample' # bucket inside root folder
        s3_folder_list = ['s3_folder_1','s3_folder_2','s3_folder_3'] # root folder inside sub folders list

        my_bucket = self.s3_resource.Bucket(s3_bucket_name)
        for file in my_bucket.objects.filter(Prefix=s3_root_folder_prefix):
            if any(s in file.key for s in s3_folder_list):
                try:
                    path, filename = os.path.split(file.key)
                    try:
                        os.makedirs(root_dir + path)
                    except Exception as err:
                        pass
                    my_bucket.download_file(file.key, root_dir + path + '/' + filename)
                except Exception as err:
                    print(err)

if __name__ == '__main__':
    download_objects()