我应该使用什么 Amazon 服务来提供来自 S3 存储桶的合并文件？

Question

我需要一个 HTTP Web 服务服务文件（1-10GiB），这是在 S3 存储桶中合并一些较小文件的结果。 这样的逻辑很容易实现，但我需要非常高的可扩展性，所以更喜欢把它放在云端。 对于这种特殊情况，哪种亚马逊服务最可行？ 我应该为此使用 AWS Lambda 吗？

Answer 1

不幸的是，您无法使用 lambda 实现这一目标，因为它仅提供 512mb 的存储空间，并且您无法挂载卷。您将需要 EBS 或 EFS 来下载和处理数据。 由于您需要可扩展性，我建议使用 Fargate + EFS。 普通的 EC2 实例就可以了，但您可能会损失一些钱，因为根据您的需要预置正确的数量可能很棘手，而且大多数情况下它被过度预置。

如果您不需要实时处理文件，您可以使用单个实例并使用 SQS 将作业排队并节省一些钱。 在那种情况下，您可以使用 lambda 来触发作业，甚至在不使用时启动/终止实例。

Answer 2

合并文件

可以使用UploadPartCopy连接 Amazon S3 文件：

通过从现有 object 作为数据源复制数据来上传部件。

但是，分段上传的最小允许部分大小为 5 MB。

因此，如果您的每个部分至少为 5 MB，那么这将是一种无需下载和重新上传即可连接文件的方法。

流式传输文件

或者，您的终端节点可以简单地依次读取每个文件并将内容 stream 返回给请求者，而不是在 Amazon S3 中创建新对象。 这可以通过API 网关和 AWS Lambda来完成。 您的 AWS Lambda 代码将从 S3 读取每个 object 并继续返回内容，直到处理完最后一个 object。

Answer 3

首先，让我澄清你的目标：你想要一个端点，比如https://my.example.com/retrieve从 S3 读取一些文件集并将它们组合起来（比如，作为 ZIP）？

如果是，您使用的任何语言/框架是否支持对响应进行分块编码？

如果是，那么在磁盘上不存储任何内容当然可以做到这一点：您从一个 stream （来自 S3 的文件）读取并写入另一个（响应）。 我猜您已经根据您对其他答案的评论知道这一点。

但是，根据您对 1-10 GB 的 output 的要求，Lambda 将不起作用，因为它的响应负载限制为 6 MB （以及在 Z1EB445FA6BD078346BF63ECAC35FA77 编码之后的 iirc）。

因此，在 AWS 世界中，这将为您提供始终运行的服务器，无论是 EC2 还是 ECS/EKS。

除非您在此过程中进行一些额外的转换，否则这不会需要大量 CPU，但如果您期望高流量，它将需要大量网络带宽。 对我来说，您希望拥有相对大量的小型计算单元。 保持它们的基准数量始终运行，并根据网络带宽进行扩展。

不幸的是，较小的 EC2 实例通常具有较低的带宽，尽管a1系列似乎是一个例外。 Fargate 不发布带宽规格。

也就是说，我可能会在 ECS 上运行 Fargate，因为它的部署更简单 model。

当心：这种架构的最大成本几乎肯定是数据传输。 如果您使用 NAT，您不仅会为其数据传输付费，还会限制您的带宽。 我至少会考虑在公共子网中运行（具有分配的公共 IP）。