python boto - 没有存储桶名称的 AWS S3 访问

Question

我有存储在 AWS S3 上的数据集的凭据（“aws 访问密钥”、“aws 密钥”和路径）。 我可以使用 Cyber​​Duck 或 FileZilla Pro 访问数据。

为此，我想自动化数据获取阶段并使用 boto2 附带的 Python/Anaconda。

我没有“存储桶”名称，只有 /folder1/folder2/folder3 形式的路径，如果没有 API 的“存储桶名称”，我找不到访问数据的方法。

有没有办法在没有“存储桶名称”的情况下以编程方式访问 S3，即使用路径？

谢谢

Answer 1

s3 没有典型的本机目录\/文件夹结构，而是使用键定义的。 如果 URL 以s3:\/\/dir_name\/folder_name\/file_name<\/code>开头，则表示 dir_name 只是一个存储桶名称。 如果您不确定存储桶名称但有 s3 访问参数和路径，那么您可以

1. 列出所有可用的 s3_buckets -

   s3 = boto3.client('s3')

   响应 = s3.list_buckets()

2. 以您的路径为键，对每个存储桶递归使用 s3.client.head_object() 方法。