使用Apache Camel基於S3事件通知傳輸S3文件

Question

我有一個應用程序（在EC2實例上運行），它解析到達S3存儲桶的新日志文件。 我已在此存儲桶上設置了S3通知，以便在PUT請求中將消息放入SQS隊列中。 目的是將新到達的日志文件從S3傳輸到EC2實例。

我認為Apache Camel將是解決這個問題的理想人選。 我對解決方案有以下問題/觀察，並非常感謝對此的一些反饋：

1. 我們可以使用Camel路由從SQS讀取消息，然后從JSON消息中提取對象密鑰。 是否可以在另一個Camel路由（使用S3組件）中將此對象密鑰從S3復制到本地FS？ 從外觀上看，Camel S3組件似乎只能處理存儲桶中的新對象，因為它只占用URI中的存儲桶名稱。 因此，可能無法從S3存儲桶復制特定密鑰。 此外，我不確定它是否可能在Camel中具有動態URI，因為每次對象名稱都不同。

2. 如果Camel S3組件確實能夠處理到達S3存儲桶的新對象，那么我們完全不需要S3通知。 但這有一個問題（因為它的無狀態）如果由於某種原因這個應用程序失敗，那么它將錯過在停機期間到達的對象。

3. 另一種可能性是使用Camel從SQS讀取消息，使用普通Java類處理這些消息並從S3復制對象。 但這種方式並沒有充分利用Apache Camel的優勢。

Answer 1

有一個SNS來解耦文件處理和文件傳輸是好的。 但你真的需要這個嗎？ 它會增加應用程序的復雜性。 如果您只想將傳入的文件處理到S3存儲桶而不會錯過，最簡單的方法是創建一個存儲桶，說“傳入”，另一個調用“已處理”。 每次您的應用程序都可以掃描傳入的存儲桶並處理它，完成后將文件放入已處理的存儲桶。

您需要注意的一件事是標記正在處理的文件以避免沖突。 您可以為其添加特殊后綴。

此外，AWS還提供了第三種方法來執行“事件通知”調用“Lambda函數”。 你也可以看一下。 它可以啟用一些簡單的處理程序，不需要自己編寫額外的應用程序。