Flink 中的收集器。 它有什么作用？

Question

我正在学习 Flink，其中一件让我感到困惑的事情是使用名为 Collector 的 object。 例如在平面图中 function。 这个 Collector 和它的方法收集是什么？ 为什么例如 map function 不需要通过显式使用来传递结果？

这里可以看到一些在平面图中使用收集器的例子 function: https://www.programcreek.com/scala/org.apache。

另外，如果我搜索收集器在 Flink 架构中的放置位置，我找不到任何具有该映射的图表

Answer 1

Flink 将 Collector 传递给任何用户 function ，该用户有可能发出任意数量的 stream 元素。 A map function doesn't use a Collector because it performs a one-to-one transformation, with the return value of the map function being the output. 而平面图可以为每个事件发出零个、一个或多个 stream 元素，这使得收集器成为一种方便的方式来适应这种情况。

Answer 2

如你所知，如果你想让一个数据stream中产生N个输出，你可以使用Collector将output数据封装在flatmap中，相反，Z46F3EA056CAA3126B91F3F70BEEA06通常不需要产生一个数据，所以C'使用它。从某种意义上说，Collector的内部应用范围很广。 You can take a look at org.apache.flink.streaming.api.operators.Output(extend from Collector) \org.apache.flink.runtime.operators.shipping.OutputCollector,they are usually used to collect records and emits them to writer.等，collect在需要写入数据时调用。

例子（不一定准确）：

flatMap的Scala源代码有3种定义。 我们来看看第一个的定义。

  /**
   * Creates a new DataStream by applying the given function to every element and flattening
   * the results.
   */
  def flatMap[R: TypeInformation](fun: (T, Collector[R]) => Unit): DataStream[R] = {
    if (fun == null) {
      throw new NullPointerException("FlatMap function must not be null.")
    }
    val cleanFun = clean(fun)
    val flatMapper = new FlatMapFunction[T, R] {
      def flatMap(in: T, out: Collector[R]) { cleanFun(in, out) }
    }
    flatMap(flatMapper)
  }

使用该方法的示例如下：

text.flatMap((input: String, out: Collector[String]) => {
  input.split(" ").foreach(out.collect)
})

在这个方法中，我们需要通过 Collector 手动发送数据

那么我们看一下源码中的第二个定义：

  /**
   * Creates a new DataStream by applying the given function to every element and flattening
   * the results.
   */
  def flatMap[R: TypeInformation](fun: T => TraversableOnce[R]): DataStream[R] = {
    if (fun == null) {
      throw new NullPointerException("FlatMap function must not be null.")
    }
    val cleanFun = clean(fun)
    val flatMapper = new FlatMapFunction[T, R] {
      def flatMap(in: T, out: Collector[R]) { cleanFun(in) foreach out.collect }
    }
    flatMap(flatMapper)
  }

而不是使用 Collector 来收集 output，这里我们直接将 output 一个列表，Flink 帮助我们将列表展平。 使用 TraversableOnce 也会导致我们无论如何都返回一个列表，即使它是一个空列表，否则我们无法匹配 function 的定义。

text.flatMap(input => {
  if (input.size > 15) {
    input.split(" ")
  } else {
    Seq.empty
  }
})

你可以找到很多类似的地方，只要是关于发送数据记录的，你几乎可以看到 Collector。