用 Apache Flink 解决 Scheduled Processing

Question

我们在 12 个时区拥有约 5 亿司机。 我们会定期发送不同的信息，例如他们的收益报告、新促销、政策变更更新等。 我们希望在最适合他们的时间将这些通信传递给他们。 例如 - 当地时间上午 9 点。 我们希望尽早生成这些通信并将它们发布到 Flink 并安排它们在适当的时间交付。

消息将采用以下格式 - {message_id, message, scheduled_time_in_utc}

为简单起见，我们可以假设 scheduled_time_in_utc 始终为 1 小时粒度。 我们 go 如何用 Flink 实现这个功能？

任何指针表示赞赏！ 谢谢！

Answer 1

我假设您可以在 Kafka 中推送这些通信，Flink 会将其用作其源，并且您有一些异步 I/O 方法来发送通信（例如 SMS 服务）。 如果是这样，那么您可以拥有一个工作流程：

1. 读取来自 Kakfa 的消息
2. 按message_id键
3. .process(new ReleaseTimedMessages())
4. 使用 Flink 的AsyncIO 支持发送消息

ReleaseTimedMessages KeyedProcessFunction 会将消息保存在 state 中，并设置一个进程时间计时器以在目标交付时间触发。 当它触发时，发出消息并清除计时器。