为 Amazon S3 存储桶键创建索引

Question

索引 S3 键的一般策略是什么，这样可以查询键？ 知道多个 S3 操作不能在一个事务中，那么不可能以这种方式创建索引：

putObject(...);
indexObject(...)

由于这里的putIndex方法不能保证与前一个方法在同一个事务中，所以连线或其他连接错误将意味着第一个操作没有索引。

Answer 1

没有“搜索”Amazon S3 密钥的功能。 最接近的功能是指定Prefix ，它可以是目录路径或 object 的部分名称。

ListObjects调用一次只返回 1000 个对象。 这意味着具有 100,000 多个对象的大型存储桶检索起来可能会很慢。

如果您需要一个快速、可搜索的索引，您可以在 DynamoDB 中存储一个键列表。 然后，使用 Amazon S3 事件在添加和删除对象时触发 AWS Lambda 函数，以更新 DynamoDB。

或者，如果您有大量对象但它们不经常更改，您可以使用Amazon S3 清单获取包含所有对象列表的每日或每周 CSV 文件。