Clojurescript：使用核心/異步通道按塊處理請求

Question

我有以下情況：

我使用了一些服務來檢索通過其輸入的一些數據。

具有一些輸入參數后，我需要針對上述服務執行N個請求，收集輸出並對每個輸出執行一些CPU繁重的任務。

我正在嘗試使用核心/異步渠道實現這一目標。

這是我的嘗試（從原理上講）可以起作用，但是我不希望這樣做。 對於如何改進它的任何提示將不勝感激。

(defn produce-inputs
  [in-chan inputs]
  (let input-names-seq (map #(:name %) inputs)]
    (doseq [input-name input-names-seq]
      (async/go
        (async/>! in-chan input-name)))))

(defn consume
  [inputs]
  (let [in-chan (async/chan 1)
        out-chan (async/chan 1)]
        (do
          (produce-inputs in-chan inputs)
          (async/go-loop []
                   (let [input-name (async/<! in-chan)]
                     (do
                         (retrieve-resource-from-service input-name 
                                                         ; response handler
                                                         (fn [resp]
                                                           (async/go
                                                             (let [result (:result resp)]
                                                               (async/>! out-chan result)))))
                         (when input-name
                           (recur)))))

     ; read from out-chan and do some heavy work for each entry
     (async/go-loop []
                   (let [result (async/<! out-chan)]
                         (do-some-cpu-heavy-work result))))))

; entry point
(defn run
  [inputs]
  (consume inputs))

有什么方法可以更新它，以便每時每刻激活retrieve-resource-from-service請求（ retrieve-resource-from-service ）不超過五個嗎？

如果我的解釋不清楚，請提出問題，我將對其進行更新。

Answer 1

您可以創建另一個通道來充當令牌桶，以限制請求的速率。

有關使用令牌桶進行每秒速率限制的示例， 請參見此鏈接 。

要限制同時請求的數量，您可以執行以下操作：

(defn consume [inputs]
  (let [in-chan (async/chan 1)
        out-chan (async/chan 1)
        bucket (async/chan 5)]
    ;; ...
    (dotimes [_ 5] (async/put! bucket :token))
    (async/go-loop []
      (let [input-name (async/<! in-chan)
            token (async/<! bucket)]
        (retrieve-resource-from-service
          input-name 
          ; response handler
          (fn [resp]
            (async/go
              (let [result (:result resp)]
                (async/>! out-chan result)
                (async/>! bucket token)))))
        (when input-name
          (recur))))
    ;; ...
    ))

創建了一個新通道bucket ，並放入了五個項目。 在觸發請求之前，我們從存儲桶中取出令牌，並在請求完成后放回令牌。 如果bucket通道中沒有令牌，我們必須等到其中一個請求完成。

注意：這只是代碼的草圖，您可能需要更正它。 特別是，如果您在retrieve-resource-from-service功能中有任何錯誤處理程序，則還應該在發生錯誤的情況下也放回令牌，以避免最終出現死鎖。