Amazon S3 API - 可以使用伪“锁定”对象吗？

Question

我正在考虑使用“锁定”S3 对象，以防止在给定的 S3 object 上同时进行相同的操作。 但是我对这个技术方案的有效性有很大的怀疑。

更准确地说，在 object 上的操作开始时，将创建与 object 的名称和正在执行的操作类型相对应的锁定文件。

示例：在 myObject 上的 myOperation 开始时，如果不存在，将查找并创建 lck/myObject/myOperation object。

这个“锁” object 将在操作结束时被销毁，无论是否成功。

我知道标准解决方案是使用数据库，但应用程序目前没有。 因此，如果我只能处理与 S3 的一致性，这就足够了。

我担心的是这个锁 object 系统将运行在多线程/可能是多节点架构中。 现在，我读到 Amazon S3 支持“写后读一致性”。

Does it mean that if my application 1 (node 1) / thread 2 puts a lock object on a given bucket through the Java Amazon S3 API, this lock object will be instantaneously visible to other threads and other applications using the same API?

Answer 1

不，不幸的是它不会。 从 S3 一致性模型：

一个进程将一个新对象写入 Amazon S3 并立即列出其存储桶中的键。 在更改完全传播之前，该对象可能不会出现在列表中。

和：

Amazon S3 当前不支持对象锁定。 如果同时对同一个键发出两个 PUT 请求，则具有最新时间戳的请求获胜。 如果这是一个问题，您将需要在应用程序中构建对象锁定机制。

因此，如果您的两个线程或进程都尝试在 S3 中创建锁，它们将被允许但最后写入获胜，因此您并没有真正锁定任何东西。 需要发生其他事情才能使您的锁定工作

Answer 2

通常，我会推荐一个数据库，但您提到在这种情况下这不是一个选项。

作为替代方案，您可以使用类似lockable的东西。 它们提供咨询锁，可用于控制例如资源访问，就像您的情况一样。

该解决方案必须使用他们的 HTTPS 端点（据我所知，他们只有一个 Python 客户端）：

1. Acquire lock by making a request to https://lockable.dev/api/acquire/my-lock-name
2. Work on your object (read, edit, write)
3. Release the lock by making a request to https://lockable.dev/api/release/my-lock-name

Answer 3

这也让我有点吃惊，当时用数据库是不可行的，所以想出了https://github.com/jfstephe/aws-s3-lock