s3文件是否有并发读/写限制

Question

存储在 AWS S3 中的单个文件的同时/并发读/写操作的数量是否有限制？ 我正在考虑设计一个解决方案，该解决方案需要并行处理存储在单个文件中的大量数据，这意味着在任何给定时间点都会有多个读/写操作。 我想了解这是否有限制。 我不需要数据的一致性。

Answer 1

S3 听起来不像是满足您要求的理想服务。 S3是object存储。 这是过于简单化了，但它基本上意味着您正在处理整个文件。 客户端不会 go 进入 S3 并直接读/写它。

当客户端“读取”S3 上的文件时，它基本上必须将该文件的副本检索到客户端设备的 memory 中并从那里读取它。 这样，它可以处理数千个并行读取（根据本公告最多 5,500 个请求）。

同样，写入 S3 意味着创建文件的新副本/版本。 无法就地写入文件。 因此，虽然 S3 通常可以支持大量并发写入，但多个客户端无法写入同一个文件副本。

也许 EFS 可能符合您的要求，但我认为为这种性能设计的数据库将是更好的选择。

Answer 2

读取：多个并发读取正常。 请求限制为每个分区前缀每秒 5,500 个 GET/HEAD 请求。

写入：对于 object PUT 和 DELETE (3,500 RPS)， 强读后写一致性。 最后一个作者获胜，没有锁定：

如果同时向同一个键发出两个 PUT 请求，则具有最新时间戳的请求获胜。

该文档有几个并发应用程序示例。 另请参阅最佳实践设计模式：优化 Amazon S3 性能。

EFS是用于并发访问用例的基于文件的存储选项。 请参阅文档中的比较亚马逊云存储表。