Flink DataStream-如何從輸入元素啟動源？

Question

假設我有一個名為RequestsSource的Flink SourceFunction<String> 。

對於來自該源的每個請求，我想訂閱一個外部數據源（出於示例的目的，它可以啟動一個單獨的線程並開始在該線程上生成數據）。

輸出數據可以連接到單個DataStream 。 例如

Input Requests: A, B
Data produced:
 A1
 B1
 A2
 A3
 B2
 ...

...等等，新元素將永久添加到DataStream中。

如何編寫可以做到這一點的Flink運算符？ 我可以使用FlatMapFunction嗎？

Answer 1

您通常希望使用AsyncFunction ，它（異步）可以采用一個輸入元素，調用某些外部服務，並發出結果集合。

另請參閱Apache Flink培訓-異步IO 。

-肯

Answer 2

聽起來您正在詢問一個運營商，該運營商在接收到訂閱事件之后可以根據與外部服務的連接來發出一個或多個無限的數據流。 我看到的唯一干凈的方法是在SourceFunction或自定義Operator中完成所有工作。

我不認為異步I / O可以從單個輸入事件中發出無限的結果流。 ProcessFunction可以執行此操作，但只能通過其onTimer方法。