並行化AWS Lambda的最佳方法

Question

我在S3上上傳了一個大文件，對於文件中的每一行，我需要進行長時間運行的休息API調用。 我正試圖找出打破工作的最佳方法。 我目前的流程思路是

Lambda（逐行拆分） - > SNS（每行通知） - > Lambda（每行/通知單獨）

這似乎是一個常見的用例，但我找不到很多引用它，我錯過了什么？ 是否有更好的選擇來分解我的工作並在合理的時間內完成工作？

Answer 1

最好的方式是主觀的。 您當前使用的方法Lambda->SNS->Lambda是一種可能的方法。 正如JohnAllen指出的那樣，你可以簡單地做Lambda->Lambda 。

您的方案讓我想起了這個項目 ，它有一個Lambda函數將項添加到Kinesis流，然后觸發許多並行的Lambda函數。

我認為如果你生成大量的Lambda任務， Lambda->Kinesis->Lambda可能比Lambda->SNS->Lambda更適合你的用例。 我擔心SNS實現會遇到最大數量的並發Lambda函數，而Kinesis實現會將它們排隊並優雅地處理它。