使用Apache Camel基于S3事件通知传输S3文件

Question

我有一个应用程序（在EC2实例上运行），它解析到达S3存储桶的新日志文件。 我已在此存储桶上设置了S3通知，以便在PUT请求中将消息放入SQS队列中。 目的是将新到达的日志文件从S3传输到EC2实例。

我认为Apache Camel将是解决这个问题的理想人选。 我对解决方案有以下问题/观察，并非常感谢对此的一些反馈：

1. 我们可以使用Camel路由从SQS读取消息，然后从JSON消息中提取对象密钥。 是否可以在另一个Camel路由（使用S3组件）中将此对象密钥从S3复制到本地FS？ 从外观上看，Camel S3组件似乎只能处理存储桶中的新对象，因为它只占用URI中的存储桶名称。 因此，可能无法从S3存储桶复制特定密钥。 此外，我不确定它是否可能在Camel中具有动态URI，因为每次对象名称都不同。

2. 如果Camel S3组件确实能够处理到达S3存储桶的新对象，那么我们完全不需要S3通知。 但这有一个问题（因为它的无状态）如果由于某种原因这个应用程序失败，那么它将错过在停机期间到达的对象。

3. 另一种可能性是使用Camel从SQS读取消息，使用普通Java类处理这些消息并从S3复制对象。 但这种方式并没有充分利用Apache Camel的优势。

Answer 1

有一个SNS来解耦文件处理和文件传输是好的。 但你真的需要这个吗？ 它会增加应用程序的复杂性。 如果您只想将传入的文件处理到S3存储桶而不会错过，最简单的方法是创建一个存储桶，说“传入”，另一个调用“已处理”。 每次您的应用程序都可以扫描传入的存储桶并处理它，完成后将文件放入已处理的存储桶。

您需要注意的一件事是标记正在处理的文件以避免冲突。 您可以为其添加特殊后缀。

此外，AWS还提供了第三种方法来执行“事件通知”调用“Lambda函数”。 你也可以看一下。 它可以启用一些简单的处理程序，不需要自己编写额外的应用程序。