如何通过Boto3获取存储桶中所有键的s3元数据

Question

我想通过Boto获取带有前缀的存储桶的所有元数据。 有一些SO问题暗示通过AWS API无法实现 。 因此，有两个问题：

1. 是否有充分的理由通过AWS API无法做到这一点？
2. 尽管我在docs中找不到一个 ，但是Boto中是否有一种方便的方法？

我目前正在使用多线程进行此操作，但这似乎有点过头了，如果可能的话，我真的想避免使用它。

Answer 1

虽然无法直接通过boto进行此操作，但是您可以在存储桶上添加清单配置，该配置会生成包含所有文件元数据的每日CSV / ORC文件。

生成此代码后，您就可以处理输出，而不是多线程处理或需要大量请求的任何其他方法。

请参阅： put_bucket_inventory_configuration

值得注意的是，生成第一个可能最多需要48个小时。