有沒有辦法以編程方式知道有多少個 Lambda 函數的並發實例正在執行？

Question

讓我們假設，在給定時間，特定 Lambda 函數的多個實例已被異步調用，

那么，有沒有辦法找到當前運行的 Lambda 函數的活動並發實例數量？

在儀表板的帳戶級別指標中，我們可以找到並發執行的數量。 此外，我認為對於每個新的 Lambda 容器創建，Cloudwatch 都會為 Lambda 函數創建一個新的日志流。 也許可以以某種方式使用它們。

但我想知道是否存在以編程方式獲取這些數字的不同方法，例如使用boto3 api 等？

Answer 1

最簡潔的答案是不。

您可以以編程方式訪問 cloudwatch 指標（請參閱： boto3 CloudWatch.Client.get_metric_data ），但是這些指標滯后一分鍾。 更糟糕的是，雖然單個 lambda 返回invocations ，但您只能在整個帳戶中獲得ConcurrentExecutions - 這意味着您能做的最好的事情就是將 lambda 放入它自己的 AWS 帳戶中，即使這樣，您仍然是一個一分鍾后 - 這通常比平均 lambda 壽命長。

不過，我應該指出，通過“保留並發”，lambda 確實公開了一種方法，至少是基本的，控制並發。 示例用例是如果您正在調用具有有限連接池的外部服務/數據庫。

Answer 2

我通過讓每個正在運行的 lambda 實例將名為 {task}{request_id}.json 的狀態 json 文件寫入到跟蹤 lambda 的存儲桶中的特定 s3 文件夾來完成此操作。 我有三個子文件夾，/Running、/Completed、/Failed，所以我可以跟蹤完成和失敗的總數。 找出有多少正在運行相當於列出 /Running 文件夾中的文件，這非常快，不需要實際獲取或打開文件。

每個 lambda 首先在 /Running 中創建一個狀態文件。 它在 try/except 塊中工作，捕獲所有 Python 異常，然后讀取該請求的 Running 文件夾中的字典，並使用其他信息更新它，例如總持續時間和任何錯誤詳細信息。 然后刪除 /Running 中的狀態文件，並在 /Completed 或 /Failed 中創建一個狀態文件。

我會說我的應用程序具有持續時間通常為 400 秒的 lambda 實例，因此這種跟蹤的開銷還不錯，並且在任何一項工作中它往往只運行大約幾千個 lambda。 如果您的應用程序以高頻率啟動小型 lambda，那么這可能是過多的開銷。

就我而言，請求是在代碼中明確提出的（而不是被觸發），但每個請求都是異步並行運行的。 AWS Lambda 系統將對超過並發限制的請求進行排隊，然后進行節流。 一旦 lambda 可用，排隊和限制的請求將啟動一個實例，達到並發限制。

我還引入了另一個名為 runtoken{parent_pid}.json 的文件，它建立在一個已知的 s3 文件夾中，每個 lambda 都可以檢查它是否有權運行。 提供 {parent_pid} 是為了防止 lambda 混淆舊授權的新授權。 但基本上，如果由於某種原因我需要停止執行，我需要做的就是刪除 runtoken 文件。 內部循環中的每個 lambda 都會檢查文件是否存在以及 parent_pid（進程 ID）是否與啟動它的那個相匹配。 如果沒有，它會正常退出並向 AWS lambda 返回成功狀態代碼，同時將狀態發布到 /Failed 文件夾。 如果 lambda 退出並出現錯誤，例如 sys.exit(1)，則 AWS lambda 啟動器將重試 lambda 函數。 所有 lambda 都檢查 Running 文件夾以確保它們沒有被重試。 request_id 在重試的 lambdas 中是相同的。