亞馬遜網絡服務-SQS-Lambda

Question

當前，我有一個由S3 PUT事件觸發的lambda函數，該lambda創建一個具有S3存儲桶/密鑰名稱的SQS消息。 這個lambda填充了所有新的S3 Key，從而填補了問題。

S3存儲桶包含zip文件，我的主要目標是解壓縮，處理和存儲帶有這些文件的數據。

最好使用什么服務來將我所有的Java代碼放入該進程中，因為lambda本身受內存大小的限制。 我需要讀取que的東西來獲取S3存儲桶名稱，然后連接到它們並執行我想要的所有處理。 我已經完成了所有實際的代碼來處理，但是我不確定是否應該使用AWS Batch，Ec2，spark或其他方法。 我不熟悉這些服務，而且亞馬遜提供的一百萬種服務基本上可以完成相同的工作。

Answer 1

您可以設置自動縮放EC2實例，該實例從SQS讀取消息，解壓縮文件並寫回存儲桶。

通過閱讀此鏈接，您可以得到深入的了解。

注意：最好為未壓縮的文件使用不同的存儲桶，以提高S3的吞吐量。

Answer 2

他們剛剛添加了sqs作為lambda的源（不確定何時，但我現在可以肯定地將SQS添加為lambda的源）。 但是，在Internet上還看不到對此的任何引用（這是在愛爾蘭地區）。