如何在 Apache Flink 中每個頂點有一個運算符？

Question

我有一個流媒體作業，我正在 Apache Flink 中運行。

它由以下運算符組成：

1. 來源 Function（生成數據）
2. 過濾 Function（過濾掉一些數據）
3. GroupBy 和聚合（根據鍵對數據進行分組，然后在它們上運行聚合 function）
4. 另一個過濾器function
5. 文件接收器（將 output 保存到文件）

然而，當我總結這份工作時，我得到了下圖。

如您所見，例如，第 3 步和第 4 步合並在一起。 我的問題是，由於我想測量每個步驟的吞吐量和延遲，有沒有辦法在自己的頂點上拆分每個運算符？ 在此示例中：為 groupBy-Aggregation 設置一個節點，為過濾器 function (endsWith) 設置另一個節點。

提前致謝： ：）

Answer 1

你可以這樣做

env.disableOperatorChaining();

但是，您應該預計這會降低性能，可能會顯着降低。 有關此內容的更多信息，請參閱Flink disableOperatorChaining 性能影響。