从 s3 存储桶中获取具有特定子字符串的文件列表

Question

我有一个包含各种文件的 s3 存储桶。

示例 - abc.csv, def.tsv, ghi_sub_jkl.avro, mno_sub_pqrs.avro and others.

我需要一个函数，它可以为我提供文件名中包含特定子字符串的文件列表。 在上面的示例中，我需要以“sub”作为子字符串的文件。

因此，输出列表必须包含 - ['ghi_sub_jkl.avro', 'mno_sub_pqrs.avro']

有办法吗？

Answer 1

您可以使用以下代码：

import boto3

s3 = boto3.resource('s3')
my_bucket = s3.Bucket('mybucket')

files_list = [file.key for file in my_bucket.objects.all() if 'sub' in file.key]