在 Flink 中使用 RichMap 比如 Scala MapPartition

Question

在 Spark 中，我们有 MapPartition function，它用于对一组条目进行一些初始化，比如一些 db 操作。

现在我想在 Flink 中做同样的事情。 经过一些研究，我发现我可以使用 RichMap 来实现相同的用途，但它有一个缺点，即该操作只能在流式作业开始时的 open 方法中完成。 我将解释我的用例，这将阐明情况。

示例：我正在获取kafka中数百万用户的数据，但我只想最终持久化部分用户的数据。 现在这个用户列表是动态的并且在数据库中可用。 我想每 10 分钟查找一次当前用户，以便我过滤并仅存储这些用户的数据。 在 Spark(MapPartition) 中，它会为每个组执行用户查找，并且我已配置为每 10 分钟后从数据库中获取用户。 但是对于使用 RichMap 的 Flink，我只能在工作开始时在打开的 function 中执行此操作。

如何在Flink中进行如下操作？

Answer 1

看来您想要做的是流表连接。 有多种方法可以做到这一点，但似乎最简单的方法是在此处使用广播 state 模式。

这个想法是定义自定义DataSource ，定期从 SQL 表中查询数据（或者更好地使用 CDC），使用该表流作为广播tableStream并将其与实际用户 stream 连接。

在连接流的ProcessFunction内部，您将有权访问广播的表数据，您可以为收到的每个用户执行查找并决定如何处理。