在Flink上更新流图内的并发图

Question

我有一个流，不断地流某些键的最新值。

流A： DataStream[(String,Double)]

我还有另一个要在每个流程调用中获取最新值的流。

我的方法是引入concurrentHashMap ，它将由流A更新并由第二个流读取。

val rates = new concurrentHasMap[String,Double].asScala
val streamA : DataStream[(String,Double)]= ???
streamA.map(keyWithValue => rates(keyWithValue._1)= keyWithValue._2) //rates never gets updated
rates("testKey")=2 //this works
val streamB: DataStream[String] = ???
streamB.map(str=> rates(str)  // rates does not contain the values of the streamA at this point
  //some other functionality
) 

是否可以从流中更新并发映射？ 任何其他与流共享数据流的解决方案也是可以接受的

Answer 1

您尝试使用的行为将无法以分布式方式起作用，基本上，如果您的parellelism > 1，则该行为将不起作用。 在您的代码rates实际上是更新的，但是在并行运算符的不同实例中。

实际上，在这种情况下，您想要执行的操作是使用BroadcastState ，该状态旨在完全解决您面临的问题。

在您的特定用例中，它看起来像这样：

val streamA : DataStream[(String,Double)]= ???
val streamABroadcasted = streamA.broadcast(<Your Map State Definition>)
val streamB: DataStream[String] = ???
streamB.connect(streamABroadcasted)

然后，您可以轻松地使用BroadcastProcessFunction来实现您的逻辑。 可以在这里找到有关广播状态模式的更多信息