減少鍵控流中的函數行為

Question

對於我們的一個用例，我們需要根據文件中的更改重做一些計算，然后廣播該文件的結果，以便我們可以在另一個流中使用它。

程序的生命周期，幾乎是這樣的：

數據流 1：監控文件 -> 檢測一些變化 -> 重新處理文件中的所有元素 -> 計算一個結果 -> 廣播

數據流 2：一些轉換 -> 在使用所有現有廣播元素的同時對 DS2 中的每個元素做一些事情（在廣播元素中可以容忍一些數據丟失一段時間）

我將給出一些代碼示例來更好地解釋問題所在：

所以這是 DS1：映射每個元素，將它們發送到減速器，然后計算總數

env.readFile(format, clientPath, FileProcessingMode.PROCESS_CONTINUOUSLY, interval)
    .map(new Adder())
    .keyBy(Map::size)
    .reduce(new Reducer());

這是映射階段，它只是從一行創建一個哈希圖

public static class Adder extends RichMapFunction<String, Map<String, String>> {
  private static final long serialVersionUID = 1L;

  @Override
  public Map<String, String> map(String string) throws Exception {
    String[] strings = string.split("=");
    HashMap<String, String> hashMap = new HashMap<>();
    hashMap.put(strings[0], strings[1]);
    return hashMap;
  }
}

這是最后一步，減速器。 獲取來自映射器的所有減少元素，然后返回總數，單個哈希圖

public static class Reducer extends RichReduceFunction<Map<String, String>> {
  private static final long serialVersionUID = 1L;

  @Override
  public Map<String, String> reduce(Map<String, String> stringStringMap, Map<String, String> t1) throws Exception {
    stringStringMap.putAll(t1);
    return stringStringMap;
  }
}

然后像下面的代碼片段一樣廣播 DS1。

MapStateDescriptor<String, String> descriptor = new MapStateDescriptor<>("Brodcasted map state", Types.STRING, Types.STRING);
BroadcastStream<Map<String, String>> broadcastedProperties =  clientProperties.broadcast(descriptor); 
ds2.connect(broadcastedProperties).process(new EventListener(properties));

在給定時間內使用以下元素

Time    Document
T1      K1=V1, K2=V2
T2      K2=V2
T3      K3=V3, K1=V4

當我運行我們的程序時，我期望的是：

Time    Broadcasted Elements
T1      K1=V1, K2=V2
T2      K2=V2
T3      K3=V3, K1=V4

我看到的是這樣的：

Time    Broadcasted Elements
T1      K1=V1, K2=V2
T2      K1=V1, K2=V2
T3      K1=V4, K2=V2, K3=V3

我為克服這個問題所做的只是簡單地在數據流上打開一個窗口，並使用帶有累加器而不是減速器的聚合函數，但我更願意使用非窗口方法。

我做了一些調試，我已經意識到，即使在映射階段它只映射當時可用的元素，在減少階段它根據以前的狀態減少（我的意思是結果time – 1 ) + 此時的所有元素。 我發現在 reduce 階段有一個不可見的狀態很奇怪。 從我的角度來看，它應該僅基於直接來自映射器的元素。 也許我對 Flink 中的 reduce 的理解是錯誤的，但我很想得到一些澄清。

Answer 1

是的，當 Flink 的任何內置聚合器（例如 sum、max、reduce 等）應用於流時，它都會以增量的、有狀態的方式聚合整個流。 或者更准確地說，這是在 KeyedStreams 上完成的，聚合是在逐個鍵的基礎上完成的，但是以一種持續的、無限制的方式完成的。 例如，如果您在整數流 1, 2, 3, 4, 5, ... 上使用 sum() 那么 sum() 將產生流 1, 3, 6, 10, 15, ... 。 在您的情況下，reduce() 將產生一個不斷更新的流，其中將包含越來越多的鍵/值對。

如果您要按時間鍵控流，那么您應該得到您正在尋找的結果，但鍵控狀態仍將永遠保持，這可能會出現問題。 我建議您使用窗口 API，或者使用 RichFlatMap 或 ProcessFunction 之類的東西，您可以在其中直接管理狀態。

Answer 2

沒有窗口的reduce函數將是一個滾動reduce。 如果要在滾動減少之間保持一致的狀態，請使用狀態對象來保存狀態，稍后檢索並更新它。 我認為這也是@David Anderson 對 RichReduceFunction 提出的建議。

public static class Reducer extends RichReduceFunction<Map<String, String>> {     
private static final long serialVersionUID = 1L;
private final MapStateDescriptor<String, String> mapStateDesc = new MapStateDescriptor<>("myMapState", BasicTypeInfo.STRING_TYPE_INFO, BasicTypeInfo.STRING_TYPE_INFO); 

@Override
public void open(Configuration parameters) {
        getRuntimeContext().getMapState(this.mapStateDesc);
}

@Override     
public Map<String, String> reduce(Map<String, String> stringStringMap, Map<String, String> t1) throws Exception {       
     MapState<String, String> myMapState = getRuntimeContext().getMapState(this.mapStateDesc);
     HashMap<String, String> newMap = new HashMap<>();
     //updating your map from previous state 
     for(Map.Entry<String,String> entry : myMapState.entries()) {
        newMap.put(entry.getKey(),entry.getValue());
     }       
     newMap.putAll(stringStringMap);       
     newMap.putAll(t1);
     //update the state with latest data set
     myMapState.putAll(newMap);
     return newMap;     
}