每周处理S3中的所有文件

Question

每周处理S3中所有文件的最佳方法是什么？

我的存储桶包含许多json文件以及我需要的文件：在所有文件上运行（一周一次），然后解析这些文件的数据以进行统计报告。 例如，按ID分组并按某些字段进行计数。 结果保存到一个文件中，我将其发送给用户。

例：

INPUT：

first_json-{id：xxx，消息：[“第一消息”，...，“ x消息”]}

...

xth_json-{id：xxx，消息：[“第一条消息”，...，“ x消息”]}

...

last_json-{id：yyy，messages：[“第一条消息”，...，“ x条消息”]}

json文件中的消息是带有日期，文本，发件人等的消息对象数组。

OUTPUT：

{id：xxx，numOfSentMessages：zzz，numOfReceivedMessages：www}

...

{id：yyy，numOfSentMessages：zzz2，numOfReceivedMessages：www2}

然后将为每个用户发送包含其统计信息的电子邮件：已发送的消息数，已接收的消息数，按天/小时的频率等等。

我认为一周内json的数量可以达到数百万个文件。

Answer 1

有很多方法可以做到这一点（取决于您实际上要做什么！）。

调度

如果您在Amazon EC2实例上运行代码，则可以使用cron触发脚本。

如果您将代码作为AWS Lambda函数运行 ，则可以向该函数添加时间表。

处理

您没有提供太多有关文件内容以及应如何处理的信息（例如，是否单独处理每个文件，或者是否一起处理多个文件）。

一些处理选项是：

• 如果可以单独处理文件，则可以使用S3 Select ，它可以对文件运行类似于SQL的简单命令，而无需下载文件
• 对于更复杂的查询 （包括一起处理多个文件），请使用Amazon Athena
• 如果需要使用自定义代码处理文件，请在Amazon EC2实例上运行脚本，或运行AWS Lambda函数 （注意：Lambda的最长执行时间为15分钟）

可以从Lambda函数调用S3 Select和Amazon Athena。

库存

如果您有大量文件（数以万计或更多），则使用Amazon S3库存来提供每周输入文件列表可能会比较有效。 然后，您可以使用该列表执行操作。

实时处理

除了将数据作为每周批处理之外，您还可以考虑将数据放入Amazon S3时执行实时处理 。 您可以将Amazon S3事件配置为在创建文件时触发AWS Lambda函数。

发送给用户

与其向用户发送文件，不如提供一个指向文件的链接，通常更好。 您的电子邮件管理员将感谢您！

无论如何，您的AWS Lambda函数都可以使用Amazon Simple Email Service（SES）来发送电子邮件。 但是，您将需要某种方式来识别谁应该收到此类通知。

一种选择是将通知发送到Amazon Simple Notification Service（SNS） ，用户可以订阅消息。 它可以将他们指向报告（但也要考虑报告的安全性）。