如何在apache flink中实现一个类似于samza的WindowableTask？

Question

Samza 有一个窗口化的概念，其中 stream 处理作业需要定期执行某些操作，而不管该作业正在处理多少传入消息。

例如，samza 中的一个简单的每分钟事件计数器如下所示：

public class EventCounterTask implements StreamTask, WindowableTask {

  public static final SystemStream OUTPUT_STREAM =
    new SystemStream("kafka", "events-per-minute");

  private int eventsSeen = 0;

  public void process(IncomingMessageEnvelope envelope,
                      MessageCollector collector,
                      TaskCoordinator coordinator) {
    eventsSeen++;
  }

  public void window(MessageCollector collector,
                     TaskCoordinator coordinator) {
    collector.send(new OutgoingMessageEnvelope(OUTPUT_STREAM, eventsSeen));
    eventsSeen = 0;
  }
}

有人可以让我知道如何在 apache flink 中实现等效的东西（samza 是单线程的，所以window和process不会同时发生）或指向相关文档？

Answer 1

至少有四种不同的方式来解释“每分钟”。 在一个二进制维度上，使用事件时间和处理时间之间存在区别（一分钟由事件中的时间戳测量，或一分钟由 CPU 挂钟测量）。 另一个二进制维度与分钟是否与 UTC 或第一个事件对齐有关。

Flink 中可用的相关底层机制是事件时间和处理时间 windows和定时器，它们是流程函数的一部分。 有关带有解决方案的自学教程、示例和练习，请参阅学习 Flink：动手培训。

但是对于 Flink，使用 SQL 或表 API 更容易完成窗口化。 例如，一个简单的 per-processing-time-minute 事件计数器将如下所示：

SELECT COUNT(*)
FROM Events
GROUP BY TUMBLE(proctime, INTERVAL '1' MINUTE)

有关更多信息，请参阅使用 SQL 进行窗口化的文档以及使用表 API 进行窗口化的文档。 有关 Flink SQL 的教程，请参见https://github.com/ververica/sql-training 。