我們可以限制luigi任務的吞吐量嗎？

Question

我們有一個Luigi任務，要求第三方服務提供一條信息。 我們可以每分鍾對該API調用執行的呼叫請求數量受到限制。

有沒有辦法在每個任務的基礎上指定調度程序每單位時間運行多少這類任務？

Answer 1

我們在任務中實施了自己的速率限制。 我們的API限制足夠低，我們可以使用單個線程使其飽和。 當我們收到速率限制響應時，我們只需退回並重試。

您可以做的一件事是將API調用聲明為資源 。 您可以設置配置中可用資源的數量，然后設置任務消耗的資源數量作為任務的屬性 。 這將限制您一次運行該任務的n。

在配置中：

[resources]
api=1

在任務代碼中：

resources = {"api": 1}