gRPC - 累積來自多個客戶端的請求

Question

假設我有多個客戶端向服務器（gRPC 服務）發送請求。 我希望我的服務器能夠收集，比如說 8 個請求，一次處理這些請求，然后只將結果發送回客戶端。 我不確定如何使用 GRPC 功能來做到這一點，或者即使可能或我是否需要其他東西。

上下文：我的用例來自為 GPU 上的神經網絡提供服務。 在這種情況下，批處理多個請求的輸入，進行一次推理，然后將結果發回，而不是對每個輸入進行一次推理，效率要高得多。

Answer 1

至少3個選項。 這里按復雜性增加的順序：

1. 客戶端使用他們的數據調用服務器。 服務器以批號響應。 客戶然后使用批號做出“完成了嗎？” 針對服務器的 RPC。 最簡單的方法，但使用輪詢並且更浪費。

2. 客戶端使用他們的數據調用服務器。 服務器響應消息流更新客戶端的批處理狀態......工作，工作，工作，完成[結果]。 優點是隱含的“回調”在下面的#3 中明確表示。 如果您不太關心中間狀態，則缺點是流的冗余。

3. 客戶端使用他們的數據和回調地址調用服務器。 服務器（作為 gRPC 客戶端）使用回調在客戶端（作為 gRPC 服務器操作）上進行 RPC。 最復雜且可能是不必要的，因此給出 #1 和 #2。