在Google Dataflow中实施撤消

Question

我读了“数据流模型：一种在MassiveScale，无边界，乱序数据处理中平衡正确性，延迟和成本的实用方法”。 las，SDK尚未公开累积和缩回触发模式 （第2.3节）。

我想知道是否有一种变通办法来获取类似的语义？

我一直在阅读源代码，并弄清楚StateTag或StateNamespace可能是我存储“窗口的最后发出值”的方式，因此可以用来计算管道中的撤消消息。 这是正确的路径还是我可以/应该查看的其他类/方式？

Answer 1

即将发布的状态API确实是模拟撤消的最佳选择。 您提到的这些类是状态API的一部分，但com.google.cloud.dataflow.sdk.util内容仅供内部使用； 从技术上讲，我们不保证API不会发生很大变化，甚至不会发布。 就是说，发布该API已在我们的路线图上，我希望我们能够尽快发布它。

要记住的一件事：自定义撤回的所有下游代码都需要能够将它们与正常记录区分开。 一旦真正的撤消支持就绪，我们将自动为您执行此操作，但是与此同时，您只需要确保编写的所有可能会撤消的代码都知道如何识别和处理此类代码。