亚马逊网络服务-SQS-Lambda

Question

当前，我有一个由S3 PUT事件触发的lambda函数，该lambda创建一个具有S3存储桶/密钥名称的SQS消息。 这个lambda填充了所有新的S3 Key，从而填补了问题。

S3存储桶包含zip文件，我的主要目标是解压缩，处理和存储带有这些文件的数据。

最好使用什么服务来将我所有的Java代码放入该进程中，因为lambda本身受内存大小的限制。 我需要读取que的东西来获取S3存储桶名称，然后连接到它们并执行我想要的所有处理。 我已经完成了所有实际的代码来处理，但是我不确定是否应该使用AWS Batch，Ec2，spark或其他方法。 我不熟悉这些服务，而且亚马逊提供的一百万种服务基本上可以完成相同的工作。

Answer 1

您可以设置自动缩放EC2实例，该实例从SQS读取消息，解压缩文件并写回存储桶。

通过阅读此链接，您可以得到深入的了解。

注意：最好为未压缩的文件使用不同的存储桶，以提高S3的吞吐量。

Answer 2

他们刚刚添加了sqs作为lambda的源（不确定何时，但我现在可以肯定地将SQS添加为lambda的源）。 但是，在Internet上还看不到对此的任何引用（这是在爱尔兰地区）。