Flink 中关于事件时间处理的水印是什么？ 为什么需要它。？

Question

Flink 中关于事件时间处理的水印是什么？ 为什么需要它。？ 为什么在所有使用事件时间的情况下都需要它。 在所有情况下，我的意思是如果我不进行窗口操作，那么为什么我们仍然需要水印。 我来自火花背景。 在 spark 中，只有在传入事件上使用窗口时才需要水印。

我读过几篇文章，在我看来，水印和窗口似乎相同。如果有差异，请解释并指出

发表你的回复我做了更多的阅读。 下面是一个更具体的查询。
主要问题：-当我们接受迟到时，为什么我们需要乱序。

给出以下示例：
假设您有一个 BoundedOutOfOrdernessTimestampExtractor，它有 2 分钟的界限和 10 分钟的翻滚窗口，从 12:00 开始到 12:10 结束：
12:01，A
12:04，乙
WM, 12:02 // 12:04 - 2 分钟
12:02，中
12:08, D
12:14，E
西医，12:12
12:16，外
WM, 12:14 // 12:16 - 2 分钟
12:09, G

在上面的例子中 [12:02, C] 记录没有被丢弃，而是包含在窗口 12:00 -12:10 和稍后评估。 - 因此水印也可以是事件时间戳

仅当配置了 5 分钟的可接受延迟时，记录 [12:09, G] 才会包含在窗口 12:00 - 12:10 中。 这会处理迟到和乱序事件

所以现在添加到我上面的上一个问题，什么是 outoforder 选项是 BoundedOutOfOrdernessTimestampExtractor 某些值（非 0）而不是事件时间戳 istelf 的必要性？
什么是无序可以实现而 allowedlateness 不能实现，它在什么情况下可以实现？

Answer 1

水印和窗口密切相关，但它们是非常不同的概念。

任何类型的基于事件的聚合都需要水印来切断迟到的事件。 Windows 只能在接收到适当的水印时关闭，并且聚合结果发布时。

如果您没有乱序事件，您可以将水印设置为等效于输入事件的时间戳。 但这通常是一种奢侈。

---

编辑以解决评论中的问题。

保持水印持续时间等于窗口持续时间是否是一个经验法则，因为只有这样做才能计算和发出结果。

不，持续时间是独立的，但会将给定事件的滞后加起来。

您的水印持续时间取决于您的数据以及您的应用程序可以承受多少延迟。 假设大多数事件都按顺序进行，10% 的事件会延迟 1 秒，另外 5% 的事件会延迟 10 秒，还有 1% 的事件会延迟 1 小时。

如果将水印持续时间设置为 0，则丢弃 16% 的数据点，但 Flink 不会收到额外的延迟。 如果您的水印落后于事件 1 秒，您将丢失 6% 的数据，但结果会多延迟 1 秒。 如果要保留所有数据，Flink 需要在每次聚合上等待 1h，直到 Flink 可以确定没有数据丢失。

但是触发器的作用是什么？ 以及滑动窗口如何与水印和触发器协调。 你能解释一下它们是如何相互工作的吗？

假设您有 1 分钟的窗口和 5 秒的水印延迟。 只有在确定所有相关数据都已被查看时才会触发窗口。 在这种情况下，需要等待 1 分 5 秒才能触发，这样窗口的最后一个事件肯定已经到达。

顺便说一句，后来作为水印的事件默认被丢弃。 你可以改变这种行为。