在Google Dataflow中實施撤消

Question

我讀了“數據流模型：一種在MassiveScale，無邊界，亂序數據處理中平衡正確性，延遲和成本的實用方法”。 las，SDK尚未公開累積和縮回觸發模式 （第2.3節）。

我想知道是否有一種變通辦法來獲取類似的語義？

我一直在閱讀源代碼，並弄清楚StateTag或StateNamespace可能是我存儲“窗口的最后發出值”的方式，因此可以用來計算管道中的撤消消息。 這是正確的路徑還是我可以/應該查看的其他類/方式？

Answer 1

即將發布的狀態API確實是模擬撤消的最佳選擇。 您提到的這些類是狀態API的一部分，但com.google.cloud.dataflow.sdk.util內容僅供內部使用； 從技術上講，我們不保證API不會發生很大變化，甚至不會發布。 就是說，發布該API已在我們的路線圖上，我希望我們能夠盡快發布它。

要記住的一件事：自定義撤回的所有下游代碼都需要能夠將它們與正常記錄區分開。 一旦真正的撤消支持就緒，我們將自動為您執行此操作，但是與此同時，您只需要確保編寫的所有可能會撤消的代碼都知道如何識別和處理此類代碼。