合並來自不同Flink作業的結果

Question

我有3個作業從同一輸入流讀取。 每個都提供不同的輸出如何合並不同作業的結果並創建單個JSON字符串

示例：{“ key”：“ input_msg”，“ result_1”：“ job1_result”，...}

我希望避免查詢數據庫，好像我將工作擴展到數量巨大將產生負面影響。

Answer 1

是的，那是可能的

available_topics = List("topic_1", "topic_2")


var streams = collection.mutable.Map[String,  DataStream[String]]()
for(a <- 0 until available_topics.size){
  streams += (available_topics(a) -> env.addSource(new FlinkKafkaConsumer09(available_topics(a), new SimpleStringSchema(), properties)).map(x => someFunctionThatS(x)))
}

Answer 2

您可以將所有三個作業合並為一個，然后將這三個部分的結果合並以形成合並的JSON結果。