簡體   English   中英

如何高效調用一百萬個 Lambda?

[英]How to invoke a million Lambdas efficiently?

我有一個 Lambda 函數,我目前正在從 EC2 調用它。 但是我在循環中順序調用它。 因此,如果要處理 1000 個項目,我將使用一個簡單的循環來迭代它們並為每個項目調用 Lambda 函數。

如果要為一百萬個項目這樣做,這將是效率低下的。 我有什么選擇可以減少這個過程所花費的時間。

所有項目的流程都是獨立的; 所以,我可以在 1000 個線程中調用 1000 個 Lambda。 但這合適嗎? 我對 Celery、SQS、redis 等不太了解,但這些在這種情況下會有用嗎?

以防萬一,每個 Lambda 大約需要 5 分鍾才能完成。

一種常見的做法是將消息推送到 Amazon SQS 隊列並配置該隊列以觸發 AWS Lambda 函數

您一次最多可以將 10 條消息推送到 SQS 隊列。

這種方法還具有通過將消息移動到死信隊列來處理失敗調用的好處。

請參閱:將 AWS Lambda 與 Amazon SQS 結合使用

使用消息代理會更有效。 您可以使用Redis 或 RabbitMQ

暫無
暫無

聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM