为什么键控流（在keyBy上）创建倾斜的下游执行？

Question

我有一种情况，其中有8个键（在keyBy上），并且插槽上的跨度倾斜。 我有一个3的并行度，键控操作的范围是5,2和1，其中5个键入射在单个插槽上。 有没有办法确保键控操作的分配平衡。 （我们没有对键流进行分区操作）

Answer 1

keyBy()假设分布均匀。 通常，可以通过实现人工密钥来解决此问题。

在内部，Flink在您的键上调用obj.hashCode()并使用该键（和一些其他逻辑）分发记录。 您可以实现自己的KeySelector来包装您的螺钉，并实现更好的hashCode()方法。